CN110825338A - 音频渲染系统 - Google Patents

音频渲染系统 Download PDF

Info

Publication number
CN110825338A
CN110825338A CN201910660506.8A CN201910660506A CN110825338A CN 110825338 A CN110825338 A CN 110825338A CN 201910660506 A CN201910660506 A CN 201910660506A CN 110825338 A CN110825338 A CN 110825338A
Authority
CN
China
Prior art keywords
audio
buffer
rendering device
packets
audio rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910660506.8A
Other languages
English (en)
Inventor
T·F·彼泽森
B·D·彼泽森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GN Hearing AS
Original Assignee
GN Hearing AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=63442396&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN110825338(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by GN Hearing AS filed Critical GN Hearing AS
Publication of CN110825338A publication Critical patent/CN110825338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/17—Embedded application
    • G06F2212/171—Portable consumer electronics, e.g. mobile phone
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/10694—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control output interface, i.e. the way data leave the buffer, e.g. by adjusting the clock rate
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B2020/10935—Digital recording or reproducing wherein a time constraint must be met
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6058—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone
    • H04M1/6066—Portable telephones adapted for handsfree use involving the use of a headset accessory device connected to the portable telephone including a wireless connection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/003—Digital PA systems using, e.g. LAN or internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Otolaryngology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Neurosurgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

本发明涉及音频渲染系统，包括：无线通信设备，向第一音频渲染设备发送多个第一音频分组，向第二音频渲染设备发送多个第二音频分组，第一音频分组包括来自音频信道集合的第一音频信道的音频数据帧，第二音频分组包括来自音频信道集合的第二音频信道的音频数据帧；第一音频渲染设备，维护接收的音频数据帧的第一缓冲器，并在第一缓冲器释放时间，从第一缓冲器释放音频数据帧以用于渲染；第二音频渲染设备，维护接收的音频数据帧的第二缓冲器，并在第二缓冲器释放时间，从第二缓冲器释放音频数据帧以用于渲染；第一音频渲染设备从第二音频渲染设备接收一个或多个消息；第一音频渲染设备基于消息将第一缓冲器释放时间与第二缓冲器释放时间同步。

Description

音频渲染系统
技术领域
本公开涉及一种音频渲染系统，包括无线通信设备、第一音频渲染设备和第二音频渲染设备。特别地，本发明涉及这样一种系统，其中无线通信设备被配置为向第一音频渲染设备发送多个第一音频分组，并且向第二音频渲染设备发送多个第二音频分组，该多个第一音频分组包括来自一个或多个音频信道集合的第一音频信道的音频数据，并且该多个第二音频分组包括来自所述一个或多个音频信道集合的第二音频信道的音频数据。本公开涉及与这种系统相关的另外方面。
背景技术
非常期望由来自无线通信设备的一对音频渲染设备无线流式传输音频数据。然而，在功耗、可靠性、传输等待时间和/或延迟、组件大小等方面，必须被解决以提供音频渲染设备的可行解决方案的现有技术的无线数据通信方法、协议和设备存在许多技术问题。当音频渲染设备具有小的形状因子和/或仅有少量的可用功率时，这些挑战特别明显。特别地，当该对音频渲染设备形成一对助听仪器时就是这种情况。
诸如如由蓝牙核心规范5.0或更早版本所定义的蓝牙LE(BLE)的标准化无线数据通信协议不允许实时音频传输。
缺乏实时传输部件也意味着难以实现两个成对音频信宿(sink)(诸如助听器)之间的立体同步。
US 99712266公开了用于同步多信道音频输出的渲染的技术，其中无线通信设备向一个音频渲染设备无线地发送指示以将渲染音频数据延迟一定长度的时间。
然而，该解决方案需要修改无线通信设备。因此，可能希望提供一种不需要对无线通信设备进行特定修改或配置的系统。特别地，可能希望提供一种系统，该系统允许使用现有的无线通信设备作为系统的一部分和/或为无线通信设备的选择提供更大的灵活性。
通常希望克服现有技术的无线数据通信方法、协议和设备的一个或多个上述问题和缺点，和/或提供其替代方案。
发明内容
根据第一方面，在此公开了音频渲染系统的实施例；包括无线通信设备、第一音频渲染设备和第二音频渲染设备。无线通信设备被配置为向第一音频渲染设备发送多个第一音频分组并且向第二音频渲染设备发送多个第二音频分组，该多个第一音频分组包括来自一个或多个音频信道集合的第一音频信道的音频数据帧，并且该多个第二音频分组包括来自所述一个或多个音频信道集合的第二音频信道的音频数据帧。第一音频渲染设备被配置为维护第一音频信道的接收的音频数据帧的第一缓冲器，并且在相应的第一缓冲器释放时间，从所述第一缓冲器释放第一音频信道的音频数据帧以用于渲染。第二音频渲染设备被配置为维护第二音频信道的接收的音频数据帧的第二缓冲器，并且在相应的第二缓冲器释放时间，从所述第二缓冲器释放第二音频信道的音频数据帧以用于渲染。第一音频渲染设备被配置为从第二音频渲染设备接收一个或多个消息。此外，至少第一音频渲染设备被配置为基于所接收的一个或多个消息来将第一缓冲器释放时间与第二缓冲器释放时间同步。
因此，通过在第一和第二音频渲染设备处引入相应的缓冲器并且通过基于第一和第二系统音频渲染设备之间的通信同步用于从缓冲器释放帧的释放时间，提供了用于以同步方式在两个设备上渲染音频内容的有效系统。
由于同步基于音频渲染设备之间的通信，因此同步不取决于来自无线通信设备的特定同步信息。因此，无线通信设备不需要能够提供这种信息。
此外，在音频渲染设备处提供相应的缓冲器并且通过同步缓冲器释放时间，同步渲染对于无线通信设备和相应的音频渲染设备之间的不可靠通信是鲁棒的。特别地，该系统可以解决各个通信信道上的音频分组传输中的故障，同时至少在很大程度上保持同步的音频渲染。
音频数据可以用于包括多个立体声音频信道的立体声音频输出。因此，第一和第二音频信道可以是不同的音频信道，例如，分别是左、右立体声音频信道。在一些实施例中，第一和第二音频信道可以是相同的信道，其用于经由多个音频渲染设备进行同步渲染。
音频数据可以包括数字音频信号的多个样本或值，诸如离散时间和离散幅度数字音频信号值的序列，其表示可以转换成声音的模拟音频信号的连续时间和连续幅度值。音频样本或值可以以固定或可变长度的帧排列。音频数据可以是编码的音频数据，即音频数据可以以编码的形式接收。换句话说，音频数据和帧可以包含编码的数字数据，该数字数据旨在由音频渲染设备转换成声音，如流式音频领域中众所周知的。出于本描述的目的，将音频数据转换为声音也称为渲染。转换可以包括几个处理步骤，例如，包括根据合适的编码方案对音频数据进行编码时的解码步骤。因此，术语音频数据旨在包含编码音频数据和非编码/解码音频数据。
根据一些实施例，无线通信设备与每个音频渲染设备之间的无线通信信道和/或第一和第二音频渲染设备之间的通信信道可以利用射频通信，例如使用位于工业科学医疗(ISM)射频范围内(诸如在2.40-2.50GHz频带或902-928MHz频带中)的一个或多个频带。可替代地，无线通信可以使用另一个合适的频带。在一些实施例中，无线通信设备与每个音频渲染设备之间的无线通信以及第一和第二音频渲染设备之间的无线通信可以利用相同的频带或相应的频带。
无线通信设备可以被配置为经由无线通信设备和第一音频渲染设备之间的第一无线通信链路，特别是经由直接无线通信链路，或者以其他方式经由不涉及第二音频渲染设备的无线通信链路，向第一音频渲染设备发送多个第一音频分组。当例如在具有音频功能的蓝牙LE协议下或在用于传送音频数据的另一合适的通信协议下，在无线通信设备和第一音频渲染设备之间传送数据时，无线通信设备可以被配置为作为主设备操作，并且第一音频渲染设备可以被配置为作为第一从设备操作。
类似地，无线通信设备可以被配置为经由无线通信设备和第二音频渲染设备之间的第二无线通信链路，特别是经由直接无线通信链路，或者以其他方式经由不涉及第一音频渲染设备的无线通信链路，向第二音频渲染设备发送多个第二音频分组。当例如在具有音频功能的蓝牙LE协议下或在用于传送音频数据的另一合适的通信协议下，在无线通信设备和第二音频渲染设备之间传送数据时，无线通信设备可以被配置为作为主设备操作，并且第二音频渲染设备可以被配置为作为第二从设备操作。
在一些实施例中，每个音频渲染设备可以包括实现与无线通信设备的通信以及与其他音频渲染设备的通信的一个或多个硬件组件。当无线通信设备和相应音频渲染设备之间的无线通信使用与第一音频渲染设备和第二音频渲染设备之间的无线通信相同的通用通信技术时，这可能是特别可行和有利的。特别地，相应通信信道可以使用相同或相似频带和/或共享通信栈的至少一些层(例如通信栈的最低一层或多层)的相同或类似的实施方式来使用RF通信。例如，音频渲染设备可以包括单个天线和/或单个收发机和/或相同的通信控制器，从而允许音频渲染设备保持小形状因子。
在一些实施例中，无线通信设备可以使用蓝牙通信(诸如蓝牙LE通信)将音频分组传送到相应的音频渲染设备。
在一些实施例中，第一和第二音频渲染设备之间的无线通信信道可以基于第一和第二音频渲染设备的感应线圈之间的近场磁耦合。在后一实施例中，多个间隔开的频带可以布置在低于2GHz(例如低于1GHz，或低于500MHz)的射频范围内。
第一和第二音频渲染设备之间的通信可以是单向的或双向的。通信可以是无线的，例如，使用射频通信、感应通信等。通信可以是直接的或间接的。通信可以是数据分组的形式。通信可以传达包括控制数据的消息。特别地，在如本文所述执行同步的第一和第二音频渲染设备之间交换的消息可能缺少音频数据。因此，消息可以仅包括用于对准或同步第一和第二音频渲染设备的操作的一种或多种类型的控制数据，如本文进一步详细讨论的。可替代地，在第一和第二音频渲染设备之间传送的至少一些数据可以包括用于除了同步音频信道的渲染之外的目的的音频数据和/或控制数据。第一和第二音频渲染设备之间的通信可以经由这样的通信链路，该通信链路与用于将多个第一音频分组从无线通信设备传送到第一音频渲染设备的第一通信链路分开且不同，并且与用于将多个第二音频分组从无线通信设备传送到第二音频渲染设备的第二通信链路分开且不同。因此，多个第一和多个第二音频分组都不需要在第一和第二音频渲染设备之间通信。
第一和第二音频渲染设备可以在延长的时间段内彼此保持通信链路。可替代地，它们可以在多个连续连接事件中的每一个连接事件期间间歇地建立通信链路，同时在中间空闲时间段期间通信地断开连接。因此，可以通过中间断开连接或空闲时间段来分开多个连续连接事件，而无需在第一和第二音频渲染设备之间进行数据交换。因此，每对连续连接事件可以由断开连接时间段或空闲时间段分开。类似地，即使当第一和第二音频渲染设备保持通信链路时，第一和第二音频渲染设备也可以在由空闲时间分开的连续通信事件处通过通信链路传送数据。一对相邻连接或通信事件之间的时间分隔或传输间隔可以在5ms和500ms之间，诸如在10ms和200ms之间，诸如在10ms和100ms之间。时间分隔或传输间隔可以是固定的或随时间推移变化，例如，响应于可用带宽和/或更高优先级数据的传输。在一些实施例中，在每个连接或通信事件处，从音频渲染设备之一向另一音频渲染设备发送消息，而不在反向方向中传送消息。在随后的通信或连接事件处，可以在相反的方向中发送消息，即，使得在任何给定的通信或连接事件处，每个设备仅接收或发送消息。然后可以在交替的连接或通信事件处反转发送和接收角色。然而，应当理解，其他实施例可以使用其他通信协议。可以根据合适的通信协议将消息作为数据分组传送。
无线通信设备可以根据传输调度向相应的音频渲染设备发送音频分组。具体地，无线通信设备可以以规则间隔开的通信事件向第一音频渲染设备发送音频分组，即，多个第一音频分组的音频分组在后续传输之间以相等的时间间隔发送。类似地，无线通信设备可以以规则间隔开的通信事件向第二音频渲染设备发送音频分组，即多个第二音频分组的音频分组在后续传输之间以相等的时间间隔发送。两个信道的传输之间的时间间隔可以相同。
第一和第二音频渲染设备中的每一个与无线通信设备之间的通信可以是双向的。特别地，在一些实施例中，第一和第二音频渲染设备可以被配置为响应于成功接收多个第一或多个第二音频分组中的每一个而向无线通信设备发送相应的确认消息。为此，多个第一和多个第二音频分组中的每一个可以包括合适的数据检查部分，该数据检查部分包括分组错误检测和/或分组纠错码。分组错误检测和/或纠错码可以例如包括循环冗余校验(CRC)码。
在一些实施例中，无线通信设备可以被配置为重传无线通信设备尚未从对应的音频渲染设备接收到成功接收的确认的音频分组。在一些实施例中，执行重传直到接收到成功接收的确认。然而，在一些实施例中，重传仅重复最多N次，N是正整数。如果已经达到N次重传，并且无线通信设备仍未接收到指示对应音频渲染设备成功接收到音频分组的确认指示符，则无线通信设备可以继续刷新、删除或放弃音频分组，因为现在已经执行了N次失败的重传，或甚至完全重置了通信链路。可替代地，如果尚未达到N次重传，则无线通信设备可以进行音频分组的进一步重传尝试，并且然后继续监视等待来自音频分组已被发送到的对应音频渲染设备的确认指示符的无线通信信道。通常，一旦接收到指示音频分组已被发送到的音频渲染设备成功接收到音频分组的确认指示符，无线通信设备可以通过根据传输调度发送另一音频分组来继续。在一些实施例中，无线通信设备可以跳过一个或多个后续音频分组，并且例如由于很多次重传，当先前音频分组的传输被不适当地延迟时，序列的后续音频分组继续进行。例如，如果在已经接收到成功接收的确认之前多次重传音频分组K，则无线通信设备可以通过发送音频分组K+1+k(k是正整数)而不是音频分组K+1来继续。
刷新失败的音频分组和/或后续的尚未发送的音频分组允许无线通信设备继续进行更新的或当前的音频帧。关于丢失或延迟的音频分组的该刷新过程避免了通过无线通信信道的音频传输被特定音频分组的大量(原则上是无数次)重传尝试阻塞或挂起。作为刷新音频分组的替代，如果传输尝试，则当重传次数超过最大数量时，一些实施例可以重置整个通信链路。
在相应音频渲染设备处提供帧缓冲器允许音频信道的有效同步。第一和/或第二缓冲器可以是被配置为以帧为单位缓冲音频数据的帧缓冲器。在一些实施例中，每个接收的音频分组包括单个帧。在其他实施例中，一些或所有音频分组可以包括多于一个的帧。应当理解，音频渲染设备可以以编码形式缓冲接收(例如，如从无线通信设备接收的)的音频数据。在其他实施例中，音频渲染设备可以在缓冲之前处理所接收的音频数据。例如，当音频渲染设备接收音频数据作为编码音频数据时，音频渲染设备可以以编码形式缓冲音频数据，或者它可以最初解码编码的音频数据并以解码形式缓冲音频数据。以编码形式缓冲音频数据通常会减小所需的缓冲器大小。在解码之后缓冲音频数据可以减少已经从缓冲器释放的帧的渲染步骤的等待时间。通常，在一些实施例中，音频渲染设备可以在缓冲之前处理所接收的音频数据，而在其他实施例中，音频渲染设备可以缓冲接收的音频数据而无需事先处理。
缓冲器可以被配置为保存多个帧。当音频渲染设备接收到新的音频数据帧时，接收的音频数据帧被放置在缓冲器中。音频渲染设备进一步被配置为例如向信号处理电路释放最旧的音频数据帧以用于渲染，该信号处理电路被配置为对音频数据帧进行解码，以便产生可以转发到输出换能器的音频信号。音频渲染设备可以被配置为在缓冲器释放时间从缓冲器释放音频数据帧，该缓冲器释放时间可以是规则间隔开的，例如间隔开这样的间隔，该间隔对应于由一个音频数据帧编码的音频信号的持续时间。通常优选的是，第一缓冲器释放时间以第一间隔规则地间隔开，并且其中第二缓冲器释放时间以等于第一间隔的第二间隔规则地间隔开。为此，音频渲染设备可以响应于接收到之后将被放置在缓冲器中的新的音频数据帧而释放缓冲器中最旧的音频数据帧。因此，缓冲器释放时间可以从接收来自无线通信设备的音频分组的时间确定，该时间进而由无线通信设备的传输调度和传输的任何等待时间确定。
特别地，在一些实施例中，无线通信设备被配置为根据传输调度发送多个第一音频分组和多个第二音频分组，使得多个第一音频分组的音频分组被调度用于传输到第一音频渲染设备，并且在多个第一音频分组的对应音频分组被调度用于传输之后，多个第二音频分组的每个音频分组被调度用于以延迟间隔传输到第二音频渲染设备；并且其中，至少第一音频渲染设备被配置为基于所交换的消息中的至少一个来确定延迟间隔。
例如，连续音频分组到每个音频渲染设备的传输之间的时间间隔可以在10ms和20ms之间。音频分组到一个音频渲染设备的传输和对应的音频分组到另一个音频渲染设备的传输之间的延迟可以在1ms和至多时间间隔的长度之间，例如至多10ms到20ms之间。
因此，当音频分组以规则间隔被发送到相应音频渲染设备并且使得两个音频渲染设备的间隔长度相同时，音频渲染设备还以规则间隔开的释放时间从它们的相应缓冲器释放帧，其中缓冲器释放时间对于两个音频渲染设备以相同的间隔间隔开，从而促进音频信道的同步。
此外，当音频渲染设备基于在音频渲染设备之间传送的消息确定音频分组分别到第一和第二音频渲染设备的传输的相对延迟时，可以执行适当的同步而无需来自无线通信的附加调度信息。此外，同步仅需要在音频渲染设备之间交换少量数据。
因此，在一些实施例中，第一音频渲染设备被配置为：
确定指示从无线通信设备接收多个第一音频分组的音频分组的相应时间的第一分组接收时间；以及
从所确定的第一分组接收时间以及从延迟间隔确定第一缓冲器释放时间。
在一个实施例中，第一音频渲染设备被配置为在所确定的以缓冲器释放延迟所延迟的分组接收时间从第一缓冲器释放音频分组，该缓冲器释放延迟被配置为补偿一个或多个延迟，包括所述延迟间隔。
应当理解，当音频分组到第一音频渲染设备的传输相对于对应音频分组到第二音频渲染设备的传输延迟时，第二音频渲染设备可以执行对应的过程。在任何情况下，比其他音频渲染设备接收对应音频分组更晚接收音频分组的音频渲染设备相对于接收新音频帧的时间不需要进一步延迟音频帧从其缓冲器的释放，以便补偿无线通信设备的传输的相对延迟。
在一些实施例中，至少第一音频渲染设备被配置为从第二音频渲染设备接收消息，该消息指示第二音频渲染设备接收多个第二音频分组中的先前音频分组的时间；并且从所接收的消息以及从第一音频渲染设备接收多个第一音频分组中的先前音频分组的时间来确定延迟间隔。因此，第一音频渲染设备可以有效地确定适用的延迟，而不需要在音频渲染设备之间交换大量数据。例如，不需要相应音频渲染设备的内部时钟的同步。此外，由于传输延迟在通信会话期间通常是恒定的，所以例如基于初始音频分组，可能足以仅在通信会话开始时执行延迟间隔的确定。然而，在一些实施例中，例如在通信会议期间可以定期重复延迟间隔的确定。进一步应当理解，在一些实施例中，两个音频渲染设备都从对应的其他音频渲染设备接收一个或多个消息，例如，指示对应的其他音频渲染设备接收对应的多个音频分组中的先前音频分组的时间的消息。因此，设备可以确定两个设备中的哪一个设备接收相对于另一个音频渲染设备延迟的音频分组。
然而，应当理解，一个或两个音频渲染设备可以添加附加的或替代的缓冲器释放延迟，以便补偿其他等待时间因素。
如上所述，在一些实施例中，无线通信设备被配置为响应于未能从对应的音频渲染设备接收到指示成功接收的确认指示而重传音频分组。应当理解，这种重传，特别是如果对音频分组发生多次重传，可能导致后续音频分组的传输被延迟。接收音频渲染设备可以借助于缓冲器来适应这种延迟。在一些实施例中，无线通信设备可以被配置为在后续的调度传输时间发送多于一个的音频分组和/或在调度传输时间之间发送附加音频分组，以便允许接收音频渲染设备补充其缓冲器。
通常，音频数据帧被配置用于同步渲染。为此，对于第二音频信道的每个音频数据帧，第一音频信道的音频数据帧包括对应的音频数据帧，使得第二音频信道的帧中的音频数据和第一音频信道的对应帧中的音频数据被配置为分别作为第一音频信道和第二音频信道的一部分进行同步渲染。在一个实施例中，第一音频信道的每个音频数据帧具有相关联的序列号，该序列号也可以称为帧索引；其中第二音频信道的每个音频数据帧具有相关联的序列号，使得第一音频信道的每个音频数据帧具有等于第二音频信道的对应音频数据帧的相应序列号的序列号。例如，第一音频信道的帧K(K是正整数)对应于第二音频信道的帧K，而第一音频声道的帧K+1对应于第二音频信道的帧K+1。
在第一和第二音频渲染设备处提供相应的缓冲器进一步允许在帧级同步，即，以便确保第一音频信道的帧与第二音频信道的对应帧同时渲染。为此，在一些实施例中，第一音频渲染设备被配置为从第二音频渲染设备接收消息，该消息指示在下一个缓冲器释放时间被调度用于从第二帧缓冲器释放的帧的序列号。因此，第一音频渲染设备可以被配置为响应于所接收的消息来维护第一缓冲器。特别地，响应于所接收的消息来维护第一缓冲器可以包括以下中的一个或多个：
选择第一缓冲器的缓冲器深度；
从第一缓冲器中丢弃音频数据帧；
延迟从第一缓冲器释放音频数据帧；
重置第一缓冲器，例如以便重启同步。
缓冲器的缓冲器深度可以表示为缓冲器当前容纳的帧数。应当理解，较小的缓冲器深度降低了系统的总等待时间以及存储器要求，而较大的缓冲器深度允许设备增加的能力以补偿失败或延迟的分组传输。提供基于关于另一音频渲染设备的缓冲器的当前状态的信息来动态适应缓冲器深度的机制允许改进的缓冲器深度的优化。已发现5到6帧之间的典型缓冲器深度是合适的，而已发现8帧的最大缓冲器深度足以满足许多情况。在一些实施例中，第一音频渲染设备可以被配置为适应缓冲器深度，即当前容纳在缓冲器中的帧的数量。例如，第一音频渲染设备可以能够将缓冲器深度改变高至最大缓冲器深度。缓冲器深度可以例如表示为缓冲器中的当前帧数或者作为在预定时间间隔内平均的缓冲器中的平均帧数。
关于调度从缓冲器释放哪个帧的信息的交换还允许音频渲染设备处理其中一个设备尚未接收到帧或者太晚接收到而不能被包括在实时音频渲染中的情况。在这种情况下，音频渲染设备之一可以丢弃一个或多个帧，以便将其渲染与由另一个音频渲染设备渲染的帧序列而重新对准。可替代地，设备之一可以延迟帧的释放，以便等待另一个音频渲染设备重新对准。当延迟帧的释放时，音频渲染设备可以插入隐藏帧，例如，静音帧或音频样本在前一个和下一个延迟帧之间进行插值的帧。
可以理解，可替代地或另外地，第一和第二音频渲染设备可以交换可以用于维护相应缓冲器的其他信息，以及用于同步音频帧的相应帧序列的释放。
例如，在一些实施例中，来自第二音频渲染设备的接收消息进一步指示自从第二音频渲染设备接收到被调度用于在下一个缓冲器释放时间从第二帧缓冲器释放的所述帧以来经过的时间。可替代地或另外地，来自第二音频渲染设备的接收消息进一步指示第二缓冲器的第二缓冲器深度。同样，第一音频渲染设备可以使用该信息来适应其缓冲器深度。如上所述，应当理解，第二音频渲染设备可以从第一音频渲染设备接收对应的信息。
在一些实施例中，一个或两个音频渲染设备可以被配置为向对应的其他音频渲染设备发送命令或请求，例如，以便请求上述一个或多个动作，即改变缓冲器深度，丢弃帧，延迟帧和/或其他动作。在一些实施例中，为了确保动作在两个音频渲染设备上是同步的，可以将动作调度为在例如由算法预定(可替代地指定为命令或请求的一部分)的特定帧索引处发生。
通常，在通信会话开始时，无线通信设备可以与每个音频渲染设备交换一个或多个初始数据分组，用于建立通信链路，例如以便协商某些通信参数。
每个音频分组可以包括一个或多个报头部分和有效载荷部分。有效载荷部分可以包括音频数据帧，诸如编码音频数据。音频分组可以包括与音频数据帧相关联的序列号。
无线通信设备可以是具有音频功能的通信设备，诸如智能电话或移动电话、具有音频功能的平板计算机、无绳电话、电视机、便携式麦克风阵列等。具体地，无线通信设备可以是具有音频功能的便携式通信设备。
无线通信设备可以包括天线、收发机和通信控制器，诸如蓝牙LE控制器，用于实现音频分组到音频渲染设备的通信。无线通信设备可以进一步包括信号处理单元，该信号处理单元被配置为接收和处理音频信号，以便产生数字音频样本的帧。可替代地或另外地，无线通信设备可以包括用于存储编码数字音频样本的帧的数字音频文件的数据存储装置。
类似地，在一些实施例中，第一音频渲染设备包括第一收发机和第一天线。此外，第二音频渲染设备包括第二收发机和第二天线。第一音频渲染设备可以包括第一通信控制器，该第一通信控制器被配置为控制无线通信并执行本文公开的方法的步骤。特别地，通信控制器可以被配置为实现合适的通信协议的一个或多个层。
第一音频渲染设备可以进一步包括信号处理电路，该信号处理电路被配置为处理来自通信控制器的接收音频数据并生成反映接收音频数据的音频信号。
第一音频渲染设备可以进一步包括输出换能器，该输出换能器可操作地耦合到数字处理电路并且可操作以响应于音频信号来生成声音。
第一和第二音频渲染设备中的每一个可以包括助听仪器或助听器，例如联合形成无线双耳助听器系统。在其他实施例中，第一和第二音频渲染设备中的一者或二者包括电池供电的具有音频功能的设备，诸如耳机、头戴式耳机、智能电话、远程麦克风阵列、远程信号处理器等。通常，第一音频渲染设备和/或第二音频渲染设备可以是用户佩戴的设备，诸如佩戴在用户耳朵处、后面和/或之中的设备。特别地，第一和第二音频渲染设备可以被配置为佩戴在用户耳朵中的相应的耳朵处、后面和/或之中。
特别地，在一些实施例中，音频渲染系统包括第一和第二助听仪器或助听器。第一和第二助听仪器或助听器中的每一个可以经由相应的扬声器或接收机接收并将经双耳处理的听力损失补偿音频信号传递给用户或患者，如下面参考附图进一步详细讨论的。第一和第二助听仪器或助听器中的每一个可以包括BTE、RIE、ITE、ITC、CIC等类型的助听仪器。通常，只有非常有限的电量可从助听仪器的电源获得。例如，通常从助听器中的常规ZnO2电池供电。在助听器的设计中，尺寸和功耗是重要的考虑因素。
第一和第二助听仪器中的每一个可以包括输入换能器，诸如一个或多个麦克风，其被配置为基于施加到输入换能器并表示声音的信号输出音频信号。第一和第二助听仪器中的每一个可以包括听力损失处理器，该听力损失处理器被配置为补偿助听器的用户的听力损失并输出听力损失补偿音频信号。听力损失补偿音频信号可以适于恢复响度，使得正常听众所感知的所施加信号的响度基本上与用户所感知的听力损失补偿信号的响度相匹配。第一和第二助听仪器或助听器中的每一个可以另外包括输出换能器，诸如接收机或扬声器、植入的换能器等，其被配置为基于可以由人类听觉系统接收的听力损失补偿音频信号输出听觉输出信号，从而用户听到声音。输入换能器还可以包括将拾音线圈处的时变磁场转换成对应的变化模拟音频信号的拾音线圈，其中音频信号的瞬时电压随着拾音线圈处的变化的磁场强度而连续变化。可以使用拾音线圈来增加来自说话人的语音的信噪比，该说话人在对公共场所中(例如，在教堂、礼堂、剧院、电影院等)的许多人，或通过公共广播系统(诸如在火车站、机场、购物中心等)发表讲话。来自说话人的语音被转换成具有感应回路系统(也称为“听力回路”)的磁场，并且拾音线圈用于磁式拾取磁传输语音信号。输入换能器可以进一步包括至少两个间隔开的麦克风，以及配置用于将至少两个间隔开的麦克风的麦克风输出信号组合成定向麦克风信号的波束形成器。输入换能器可以包括一个或多个麦克风和拾音线圈以及开关，例如用于选择全向麦克风信号，或定向麦克风信号或者拾音线圈信号，单独或以任何组合，作为音频信号。通常，通过在模数转换器中转换成对应的数字音频信号，使模拟音频信号适合于数字信号处理，由此模拟音频信号的幅度由二进制数表示。以这种方式，数字值序列形式的离散时间和离散幅度数字音频信号表示连续时间和连续幅度模拟音频信号。在整个本公开中，“音频信号”可以用于识别形成从输入换能器的输出到听力损失处理器的输入的信号路径的一部分的任何模拟或数字信号。在整个本公开中，“听力损失补偿音频信号”可以用于识别可能经由数模转换器形成从听力损失处理器的输出到输出换能器的输入的信号路径的一部分的任何模拟或数字信号。
第一和第二无线收发机中的每一个可以包括无线发射机和无线接收机二者。发射机和接收机可以共享公共电路和/或单个壳体。可替代地，发射机和接收机可以不共享电路，并且无线通信单元可以包括分别具有发射机和接收机的单独设备。第一和第二音频渲染设备中的每一个音频渲染设备中的信号处理可以由专用硬件执行，或者可以在一个或多个信号处理器中执行，或者在专用硬件和一个或多个信号处理器的组合中执行。同样地，由第一和第二通信控制器中的每一个执行的操作可以由专用硬件执行，或者可以在一个或多个处理器中执行，或者在专用硬件和一个或多个处理器的组合中执行。如本文所使用的，术语“处理器”、“信号处理器”、“控制器”、“系统”等旨在指代微处理器或CPU相关实体、硬件、硬件和软件的组合、软件或者执行中的软件。例如，“处理器”、“信号处理器”、“控制器”、“系统”等可以是但不限于是处理器上运行的进程、处理器、对象、可执行文件、执行的线程和/或程序。作为说明，术语“处理器”、“信号处理器”、“控制器”、“系统”等指定在处理器和硬件处理器上运行的应用。一个或多个“处理器”、“信号处理器”、“控制器”、“系统”等或其任何组合可以驻留在进程和/或执行的线程内，以及一个或多个“处理器”、“信号处理器”、“控制器”、“系统”等或其任何组合可以可能与其他硬件电路组合位于一个硬件处理器上，和/或可能与其他硬件电路组合分布在两个或多个硬件处理器之间。此外，处理器(或类似术语)可以是能够执行信号处理的任何组件或组件的任何组合。例如，信号处理器可以是ASIC处理器、FPGA处理器、通用处理器、微处理器、电路组件或集成电路。
本公开涉及不同方面，包括上面和下面描述的系统、对应的装置、系统、方法和/或产品，每个都产生结合一个或多个其他方面描述的一个或多个益处和优点，并且每个具有与结合一个或多个其他方面描述的和/或在所附权利要求中公开的实施例对应的一个或多个实施例。
特别地，根据一个方面，本文公开了一种音频渲染设备；包括：
至少一个无线通信接口，其被配置为
从无线通信设备接收多个第一音频分组，该多个第一音频分组包括来自一个或多个音频信道集合的第一音频信道的音频数据帧；
与另一音频渲染设备交换消息，该另一音频渲染设备被配置为从所述无线通信设备接收多个第二音频分组，该多个第二音频分组包括来自所述一个或多个音频信道集合的第二音频信道的音频数据帧；
信号处理器，其被配置为处理包括在多个第一音频分组中的音频数据帧，以供第一音频渲染设备渲染；
其中，至少一个无线通信接口进一步被配置为：
维护所接收的音频数据帧的第一缓冲器，并在相应的第一缓冲器释放时间，从所述第一缓冲器向信号处理器释放音频数据帧以用于渲染；
从另一音频渲染设备接收一个或多个消息；以及
基于所接收的一个或多个消息将第一缓冲器释放时间与第二缓冲器释放时间同步，在该第二缓冲器释放时间，另一音频渲染设备从由另一音频渲染设备维护的所接收的音频数据帧的第二缓冲器释放音频数据帧。
无线通信接口可以包括单个天线和/或单个收发机和/或单个通信控制器，用于实现从无线通信设备接收音频分组以及从其他音频渲染设备接收消息。可替代地，音频渲染设备可以包括单独的天线和/或单独的收发机和/或单独的通信控制器，用于分别实现从无线通信设备接收音频分组以及从其他音频渲染设备接收消息。
根据另一方面，本文公开了一种用于同步由一对音频渲染设备渲染的音频内容的方法，由所述一对音频渲染设备实现，该对音频渲染设备包括第一音频渲染设备和第二音频渲染设备；该方法包括：
由第一音频渲染设备从无线通信设备接收多个第一音频分组，该多个第一音频分组包括来自一个或多个音频信道集合的第一音频信道的音频数据帧；
由第二音频渲染设备从无线通信设备接收多个第二音频分组，该多个第二音频分组包括来自所述一个或多个音频信道集合的第二音频信道的音频数据帧；
由第一音频渲染设备维护所接收的音频数据帧的第一缓冲器，并在相应的第一缓冲器释放时间从所述第一缓冲器释放音频数据帧以用于渲染；
由第二音频渲染设备维护所接收的音频数据帧的第二缓冲器，并在相应的第二缓冲器释放时间从所述第二缓冲器释放音频数据帧以用于渲染；
由第一音频渲染设备从第二音频渲染设备接收一个或多个消息；以及
由至少第一音频渲染设备，基于所接收的一个或多个消息，将第一缓冲器释放时间与第二缓冲器释放时间同步。
根据另一方面，本文公开了一种音频渲染设备；包括：
第一通信接口，其被配置为从无线通信设备接收多个第一音频分组，该多个第一音频分组包括来自一个或多个音频信道集合的第一音频信道的音频数据；
第二通信接口，其被配置为与另一音频渲染设备无线通信，该另一音频渲染设备被配置为从所述无线通信设备接收多个第二音频分组，该多个第二音频分组包括来自所述一个或多个音频信道集合的第二音频信道的音频数据；对于多个第一音频分组中的每个音频分组，多个第二音频分组包括对应的音频分组，使得多个第一音频分组中的音频分组中的音频数据和来自多个第二音频分组的对应音频分组中的音频数据被配置为分别作为第一音频信道和第二音频信道的一部分进行同步渲染；其中，多个第一音频分组和多个第二音频分组由无线通信设备根据传输调度发送，使得来自多个第一音频分组的音频分组被调度用于传输到音频渲染设备，并且在来自多个第一音频分组的对应音频分组被调度用于传输之后，多个第二音频分组的每个音频分组被调度用于以延迟间隔传输；
信号处理器，其被配置为基于多个第一音频分组中包括的音频数据渲染音频内容；
其中，音频渲染设备被配置为基于与另一音频渲染设备的通信来确定延迟间隔，并且将多个第一音频分组中的每一个音频分组的渲染延迟所确定的延迟间隔。
附图说明
在下文中，参考附图更详细地描述了本文公开的各个方面的优选实施例，在附图中：
图1示意性地示出了音频渲染系统的实施例。
图2示意性地示出了音频渲染系统的另一实施例。
图3示意性地示出了音频渲染系统的实施例的设备之间的通信的时序方面。
图4示出了由如本文所述的音频渲染系统的音频渲染设备之一执行的过程的示意流程图。
图5示意性地示出了音频分组的示例。
图6示出了由如本文所述的音频渲染系统的无线通信设备传输音频数据帧的操作的示例。
具体实施方式
在下文中，参考附图并在助听仪器的背景下更详细地描述本文公开的各个方面的优选实施例。在以下实施例中，第一和第二音频渲染设备中的一个或每个包括相应的助听仪器，如下面另外详细讨论的。本领域技术人员将理解，附图是示意性的并且为了清楚而简化，并且因此仅示出了对于理解本发明必不可少的细节，而省略了其他细节。相同的附图标记始终表示相同的元件。因此，不必关于每个附图详细描述相同的元件。
图1示意性地示出了音频渲染系统的实施例。特别地，音频渲染系统包括无线通信设备50、第一音频渲染设备10L和第二音频渲染设备10R。无线通信设备50经由第一无线通信链路12L通信地耦合到第一音频渲染设备10L并且经由第二无线通信链路12R耦合到第二音频渲染设备10R。因此，无线通信设备与每个音频渲染设备建立相应的双向通信连接。第一无线通信链路12L是无线通信设备50和第一音频渲染设备10L之间的直接双向链路；具体地，无线通信设备50与第一音频渲染设备10L之间的通信不涉及第二音频渲染设备10R。类似地，第二无线通信链路12R是无线通信设备50和第二音频渲染设备10R之间的直接双向链路；具体地，无线通信设备50和第二音频渲染设备10R之间的通信不涉及第一音频渲染设备10L。此外，第一音频渲染设备10L经由直接无线通信链路13通信地耦合到第二音频渲染设备10R。具体地，第一音频渲染设备10L和第二音频渲染设备10R之间的通信链路13不涉及无线通信设备50。无线通信设备50可以是智能电话或移动电话、具有音频功能的平板计算机、无绳电话、电视机、便携式麦克风阵列等。第一和第二音频渲染设备可以是相应的助听仪器或助听器，如将在下面更详细描述的。
图2示意性地示出了音频渲染系统的实施例。如在先前实施例中，音频渲染系统包括无线通信设备50、第一音频渲染设备和第二音频渲染设备。第一和第二音频渲染设备形成无线双耳助听器系统，其包括左耳助听器或助听仪器10L和右耳助听器或助听仪器10R，每个助听器或助听仪器包括用于连接到无线通信设备50和相应的其他助听仪器的无线通信单元。在本实施例中，左耳和右耳助听器10L、10R经由双向无线通信信道或链路13彼此连接。唯一ID可以与左耳和右耳助听器10L、10R中的每一个相关联。可替代地，左耳和右耳助听器可以经由另一无线或有线通信信道，例如经由磁感应链路彼此连接。
每个助听器进一步分别经由无线通信链路12L和12R通信地连接到无线通信设备50。因此，无线通信设备50与每个助听器建立相应的双向通信连接。
所示双耳助听器系统的相应设备之间的无线通信可以经由2.4GHz工业科学医学(ISM)频带来执行，该频带可以包括多个间隔开的频带或信道。每个间隔开的频带或信道可以具有0.5-2.0MHz之间(诸如约1.0MHz)的带宽。助听器10L、10R被配置为根据蓝牙低功耗(蓝牙LE)，例如根据蓝牙核心规范版本4.1、4.2或5与无线通信设备50通信。然而，已经调整了左耳和右耳助听器10L、10R中的每一个助听器的无线通信单元的通信控制器，以便能够通过如在下面进一步详述的每个无线通信链路12L、12R接收实时音频数据集合，并且用于同步渲染所接收的音频数据。为此，助听器10L、10R的通信控制器进一步适于经由无线通信链路13实现助听器之间的通信。经由通信链路13的通信也在2.4GHz ISM频带中执行，但是可以使用蓝牙以外的通信协议。
在预期上述唯一ID的一些实施例中，左助听器10L和右助听器10R可以基本上相同。因此，左助听器10L的特征的以下描述也适用于右助听器10R。左助听器10L可以包括ZnO2电池(未示出)，其连接用于向助听器电路14供电。左助听器10L包括麦克风16形式的输入换能器。当左助听器10L工作时，基于到达麦克风16的声学声音信号，麦克风16输出模拟或数字音频信号。如果麦克风16输出模拟音频信号，则助听器电路14可以包括模数转换器(未示出)，该模数转换器将模拟音频信号转换为对应的数字音频信号，用于助听器电路14中的数字信号处理。特别是在听力损失处理器24L中，其被配置为补偿左助听器10的用户的听力损失。优选地，听力损失处理器24L包括本领域公知的动态范围压缩器，用于补偿本领域通常称为重振(recruitment)的用户的动态范围的频率相关损失。因此，听力损失处理器24L将听力损失补偿音频信号输出到扬声器或接收机32L。扬声器或接收机32将听力损失补偿音频信号转换成对应的声学信号，以便朝向用户的鼓膜传输。因此，用户听到到达麦克风的声音；但是，补偿了用户的个人听力损失。助听器可以被配置为恢复响度，使得佩戴助听器10的用户所感知的听力损失补偿信号的响度基本上匹配如具有正常听力的收听者所感知的到达麦克风16的声学声音信号的响度。
助听器电路14L进一步包括无线通信单元，该无线通信单元包括无线电部分或收发机34L，其被配置为与右或第二助听器10R以及与无线通信设备50无线通信。无线通信单元包括第一通信控制器26L，其执行与通信协议和可能的其他任务相关联的各种任务。听力损失处理器24L可以包括软件可编程微处理器，诸如数字信号处理器。左助听器10L的操作可以由在软件可编程微处理器上执行的合适的操作系统控制。操作系统可以被配置为管理助听器硬件和软件资源，例如，包括听力损失处理器24L和可能的其他处理器和相关联的信号处理算法、无线通信单元、某些存储器资源等。操作系统可以调度任务以有效使用助听器资源，并且可以进一步包括用于成本分配的计费软件，包括功耗、处理器时间、存储器位置、无线传输和其他资源。操作系统与第一通信控制器26L协作，控制无线收发机34L以根据用于接收和同步音频数据的本方法或协议与右或第二助听器10R以及与无线通信设备50执行双向无线通信。结合具有音频功能的蓝牙LE协议下的设备之间的双向数据通信，无线通信设备50可以作为主设备操作，并且左和右助听器10L、10R作为相应的从设备操作。
无线通信设备50包括无线电部分或电路54，其被配置为分别与左和右助听器10L、10R的对应无线电部分或电路34L、34R无线通信。无线通信设备50还包括无线通信单元，该无线通信单元包括蓝牙LE控制器56，其根据具有音频功能的蓝牙LE协议和可能的其他任务执行各种通信协议相关任务。用于通过无线通信链路12L、12R传输的音频或其他数据分组或数据集合由蓝牙LE控制器56提供给无线电路54。由无线电部分或电路54经由RF天线53接收的数据分组被转发到蓝牙LE控制器56用于进一步的数据处理。本领域技术人员将理解，除了如移动电话领域中公知的示意性示出的那些之外，无线通信设备50通常还将包括许多附加的硬件和软件资源。
由无线通信设备50生成和发送的音频分组包括相应的音频数据帧，使得每个助听器可以接收音频数据并经由相应的扬声器或接收机32L、32R将音频信号传递给用户或患者。可选地，助听器可以处理所接收的音频数据，以便补偿听力损失，例如以便提供双耳处理的听力损失补偿音频信号。助听器10L、R进一步被配置为使用相应的无线收发机34L、34R和天线44L、44R彼此交换包括消息或其他控制数据的数据分组。交换的消息可以包括控制信息或数据，例如用于同步左和右助听器10L、10R之间的操作，如下面将更详细描述的。
无线通信设备50对音频分组的传输通常将对应于在所利用的一个或多个频带中具有低水平的干扰电磁噪声的环境条件，使得每个音频分组的传输可以在第一次传输尝试或第一次传输时成功。在后一种情况下，不需要重传音频分组。然而，无线通信设备50可以被配置为处理所发送的音频分组中的特定错误率。该特征对于无线双耳助听仪器系统中的音频分组传输特别有用，其中用户头部的阴影效应可能导致相对高的分组错误率(PER)。数据分组传输方法可以实现丢失音频分组的重传。可以执行音频分组的多次重传，直到无线通信设备已从对应的助听器接收到成功接收的确认。应理解，在一些实施例中，重传次数可以限于特定的最大次数。在一些实施例中，当音频分组已经被重传多次时，所产生的延迟可以由无线通信设备通过跳过一个或多个后续音频帧和/或通过临时发送更大数量的帧来补偿，例如，如图6中所示。通常，如果音频分组的相应音频数据或帧表示左和/或右助听器10L、10R的实时音频信号，则音频分组传输等待时间是传输方法或协议的重要特征。当特定音频分组未被成功重传最大次数时随时间丢失的音频帧或由于多次重传而增加的传输等待时间时可以由助听器补偿或至少减轻。可以通过向助听器电路14L、14R添加合适的音频编解码器来减轻音频分组的丢失。音频编解码器可以能够处理来自第一或第二通信控制器26L、26R的传入实时音频数据流的一定量的音频帧丢失。音频编解码器可以例如被配置为执行分组丢失隐藏算法以在感知上掩蔽传入的实时音频数据流的丢失音频帧。
此外，通信控制器26L和26R分别包括相应的帧缓冲器261L和261R。可替代地，缓冲器可以在相应的收发机电路34L、34R中实现。每个帧缓冲器被配置为临时缓冲一个或多个接收的音频数据帧，以便允许通信控制器分别以恒定速率将音频帧转发到对应的听力损失处理器24L、24R，用于对接收的音频帧进行信号处理，如将在下面更详细描述的。
图3示出了音频渲染系统(例如，结合图1或图2描述的系统之一)的实施例的操作。
具体地，无线通信设备50根据传输调度发送音频分组，使得音频分组以规则间隔开的传输事件发送。多个第一音频分组的分组P1L、P2L等被发送到左助听器，而多个第二音频分组的音频分组P1R、P2R等被发送到右助听器。分组P1L、P2L的传输时间间隔开与分组P1R和P2R的传输时间相同的间隔。然而，分组P1R的传输相对于对应分组P1L的传输延迟了延迟间隔Δ。通常，延迟间隔Δ对于给定的通信会话是恒定的，即对于音频流的所有音频分组是恒定的。
左助听器10L以规则的间隔接收分组P1L、P2L等，而右助听器10R以相同的间隔长度的规则间隔接收分组P1R、P2R等。然而，由于延迟传输，右助听器比接收对应分组的左助听器更晚接收每个分组。应当理解，该延迟可能进一步受到其他等待时间因素影响。此外，应当理解，在一些情况下，相对于右助听器的对应分组，到左助听器的分组反而将被延迟。
每个音频分组包括音频数据帧，并且这些帧具有相关联的序列号，也称为帧索引。在正常传输期间，音频分组P1L包括左音频信道的帧号1，而P1R包括右音频信道的帧号1等。
在接收到音频分组时，每个助听器将对应的音频数据帧作为最新帧放入其帧缓冲器中。助听器进一步从帧缓冲器中释放最旧的帧，以便由听力损失电路的信号处理电路处理，并由接收机随后进行渲染。缓冲器被配置为保存有限数量的帧，其中帧的数量被称为缓冲器深度。典型的缓冲器深度在3到8帧之间变化，诸如5-6帧。
当从每个助听器的帧缓冲器的释放由接收新音频分组的时间触发时，两个助听器同步渲染音频帧需要助听器之一(在图3的示例中，左助听器)以附加的延迟来延迟每个音频帧从缓冲器的释放，以便补偿无线通信设备的传输调度中固有的延迟Δ和可能的其他等待时间因素。
为此，左、右助听器交换消息33和34，以便交换控制数据，以同步接收的音频数据的渲染。消息33和34作为较低优先级数据分组交换，例如使得在每次通信事件处，仅单个消息从右助听器发送到左助听器(箭头33所示)或从左助听器发送到右助听器(箭头34所示)。此外，控制消息33、34可以以小于音频分组的传输速率的速率交换。应当理解，音频渲染系统的其他实施例可以使用用于交换消息的其他传输协议。例如，其他实施例可以在每个传输事件处在两个方向中交换消息。
交换的消息包括由相应助听器用于同步音频数据的渲染的控制数据。
特别地，交换的消息包括助听器确定延迟Δ的信息。在特定实施例中，发送控制消息33的助听器10R包括关于自从所述助听器10R接收到最近的音频分组P1R以来经过的时间T2的信息。因此，接收控制消息33的助听器10L可以确定自从它接收到其最近的音频分组P1L以来经过的时间T1，并且从这些时间确定适用的延迟Δ，例如如Δ＝T1-T2。另一助听器还可以从包括对应信息的对应反向控制消息34确定适用的延迟。即使重复交换控制消息，也可以理解，在一些实施例中，只有在音频传输开始时交换的控制消息包括用于确定延迟Δ的上述时序信息。随着无线通信设备的传输延迟保持稳定，可以在整个传输中利用所确定的延迟值。然而，在其他实施例中，重复交换上述时序信息，例如，以便允许助听器调整延迟，例如，以便减轻传输环境中的可能变化以及相应传输信道的传输等待时间中的可能变化。而在图3的示例中，到右助听器的音频分组相对于到左助听器的对应音频分组被延迟，可以理解，相对偏移可以是相反的，即，使得到左助听器的音频分组相对于到右助听器的对应音频分组被延迟。因此，在这种情况下，左助听器可能必须延迟其缓冲器释放时间，而右助听器可能不会向缓冲器释放时间添加任何延迟以适应传输延迟。
除了上述时序信息之外，一些或所有交换的控制消息还包括关于正在发送相应控制消息的助听器的帧缓冲器的状态的信息。
特别地，助听器可以向另一助听器发送关于帧缓冲器中最旧帧的序列号的信息，即，被调度在下一个缓冲器释放事件处从缓冲器释放的帧的信息。此外，助听器可以发送关于最旧帧已经在缓冲器中等待多长时间的信息和/或其他信息，诸如缓冲器深度等。
接收助听器可以以各种方式使用该信息以确保帧从帧缓冲器的同步释放。例如，从另一助听器接收指示另一助听器的帧缓冲器中的最旧帧的序列号的控制消息的助听器可以将该序列号与其自己的帧缓冲器中的最旧帧的序列号进行比较。通常序列号相等；然而；分组丢失、丢弃的音频分组、延迟等可能导致相应缓冲器中最旧帧的序列号彼此不同。在这种情况下，具有帧缓冲器中具有比另一助听器的帧缓冲器中的最旧帧更低的序列号的最旧帧的助听器可以跳过最旧的帧并且反而从缓冲器释放后续帧，以便重建同步。
可替代地，具有较高序列号的帧作为缓冲器中的最旧帧的助听器可以延迟最旧帧的释放，并且反而产生隐藏帧。
在一些实施例中，助听器可以例如响应于传输环境中的变化来动态地改变其帧缓冲器的缓冲器深度。
例如，如果助听器从另一助听器接收到另一助听器具有较高缓冲器深度以及较低帧索引的信息，则可以通过复制其第一条目来增加其自身的缓冲器深度。如果情况相反，即助听器在其缓冲器中具有较少的帧并且还具有较高的帧索引，则该助听器可以可操作以通过移除条目(例如，第一条目)来减少其自身的缓冲器深度。
在一些实施例中，助听器可以例如通过监视接收帧索引序列中的间隙来监视到无线通信设备的通信链路的质量。例如，如果助听器检测到与在发送侧跳过的帧有关的大间隙，则可以可操作以重新配置通信链路以在发送侧使用更多缓冲器。例如，在图6的示例中，从2到4个缓冲器的增加将阻止帧6和7被跳过。
因此，基于助听器之间交换的消息和/或基于检测到的到无线通信设备的通信链路的质量，助听器可以关于当前处理的帧的序列号和关于帧的处理的精确时序二者来同步接收的音频帧的处理。序列号的同步寻求确保由助听器处理的音频数据帧彼此对应(即，具有相同的序列号)。帧的处理时序的同步寻求减少或甚至消除相对于另一助听器的接收帧的处理中的任何偏移/延迟。
为此，交换的消息可以包括一个或多个参数，该参数可以根据需要例如以静态或动态的方式组合。消息中包括的交换参数可以是以下参数和/或其他参数中的一个或多个：
ConnectionOffset：从当前消息的时间戳直到下一个连接事件(例如，下一个BLE连接事件)的时间偏移。该参数可以用于帧内的样本同步。
MaxDepth：最大缓冲器深度，即可以存储在缓冲器中的最大帧数。
CurrentDepth：存储在缓冲器中的当前帧数。
AverageDepth：缓冲器中存储的平均帧数，其中平均值在合适的(例如，预定的)时间段内定义。
NextAudFrameIdxAvailable(用于渲染)：缓冲器中“最旧”音频帧的索引。
NextAudFrameIdxExpected(用于渲染)：渲染系统预期的下一个音频帧索引。除非当插入或移除帧时，否则该值通常会针对每个音频帧间隔递增。
图4示出了由如本文所述的音频渲染系统(例如如结合图1或图2所述的系统)的音频渲染设备之一执行的过程的示意流程图。
在初始步骤S1中，音频渲染设备与无线通信设备和另一音频渲染设备建立相应的通信链路。作为该步骤的一部分，如本领域所公知的，音频渲染设备可以从无线通信设备和/或另一音频渲染设备接收建立消息，和/或向无线通信设备和/或另一音频渲染设备发送建立消息。音频渲染设备进一步建立其内部处理，例如，包括初始化帧缓冲器。
一旦建立了通信链路，该过程在步骤S2处继续，其中它从无线通信设备接收音频分组。音频分组包括音频数据帧。
在步骤S3中，音频渲染设备将接收到的音频帧放置在帧缓冲器中作为最新帧。
在步骤S4中，音频渲染设备释放帧缓冲器中最旧的帧，以供数字信号处理电路处理并由扬声器渲染。音频渲染设备释放帧的时间可以通过接收新帧的时间和确定的延迟来确定，以便补偿分组传输到相应音频渲染设备的传输时间的相对偏移/延迟。
如果该过程已经从另一音频渲染设备接收到控制消息，则该过程在步骤S5处继续；否则，该过程在步骤S6处继续。在步骤S5处，该过程处理所接收的控制消息，以便管理缓冲器和/或确定缓冲器释放时间的适用延迟。
在步骤S6中，该过程确定是否应该将控制消息发送到另一音频渲染设备。控制消息的传输可以例如由缓冲状态或其他操作触发事件的变化触发，或者它们可以以规则间隔发送。如果要发送控制消息，则该过程在步骤S7处继续；否则，该过程在步骤S8处继续。
在步骤S7处，该过程创建控制消息并将其发送到系统的另一音频渲染设备。如上所述，控制消息可以包括一个或多个控制参数。
在步骤S8处，该过程确定音频数据流是否完成。如果是，则过程进入步骤S9，其中完成处理缓冲器中的剩余帧并终止；否则，该过程返回到步骤S2。
图5示意性地示出了音频分组的示例。音频分组60包括音频数据的帧62和与帧62相关联的序列号61(帧索引)。应当理解，音频分组可以包括附加部分，诸如CRC、报头信息等。
图6示出了由如本文所述的音频渲染系统(例如，如结合图1或图2所述的系统)的无线通信设备传输音频数据帧的操作的示例。
通常，可以根据蓝牙规范中描述的蓝牙协议来执行音频分组的传输。该图示出了周期性地生成音频数据帧60以便传输到音频渲染设备之一。通过帧索引1到12顺序列举图6的示例的帧。所生成的帧在一个或多个传输缓冲器65中排队等待传输。无线通信设备在如本文所述的相应连接事件处将排队的帧从缓冲器发送到对应的音频渲染设备。一旦无线通信设备已经从接收设备接收到关于发送帧的发送确认68，则无线通信设备从缓冲器中移除对应的帧，从而使缓冲槽再次可用于容纳后续帧。无线通信设备可以在任何时间允许最多数量的缓冲帧。在图6的示例中，假设连接被配置为排列至多两个帧以进行传输。任何时间的可用缓冲槽(或单独的缓冲器)在图6中表示为时间线66下方的相应缓冲器计数67。当帧排队等待传输时，缓冲器计数减少；当确认帧的成功传输时，缓冲器计数增加。当所有缓冲槽都被占用时，即当可用缓冲槽的缓冲器计数为零时，生成的帧不排队，而是跳过。在图6的示例中，由于帧4和5尚未被确认而被跳过帧6和7来说明这一点。在音频分组的传输延迟的情况下，无线通信设备可以以较短的间隔临时发送音频分组，以便赶上帧的周期性生成。在图6中，对于例如以比帧间隔更短的间隔发送(和确认)的帧2和3(这也适用于图6中的帧4、5、8和9、10)，示出了这种追赶。
尽管主要参考某些具体实施例描述了上述实施例，但是在不脱离所附权利要求中概述的本发明的精神和范围的情况下，本领域技术人员将清楚其各种修改。例如，虽然本文公开的各个方面主要是在助听器的背景下描述的，但是它们也可以适用于其他类型的音频渲染设备。类似地，虽然本文公开的各个方面主要在音频渲染设备之间的短程RF通信的背景下描述，但是应当理解，音频渲染设备之间的通信可以使用其他通信技术，诸如其他无线或甚至是有线技术。在一个示例中，音频渲染设备(例如一对助听器)可以经由磁感应链路彼此通信。
本文公开的至少一些实施例可总结如下：
实施例1：一种音频渲染系统；包括无线通信设备、第一音频渲染设备和第二音频渲染设备；
其中，无线通信设备被配置为向第一音频渲染设备发送多个第一音频分组并且向第二音频渲染设备发送多个第二音频分组，该多个第一音频分组包括来自一个或多个音频信道集合的第一音频信道的音频数据帧，并且该多个第二音频分组包括来自所述一个或多个音频信道集合的第二音频信道的音频数据帧；
其中，第一音频渲染设备被配置为维护第一音频信道的所接收的音频数据帧的第一缓冲器，并且在相应的第一缓冲器释放时间，从所述第一缓冲器释放第一音频信道的音频数据帧以用于渲染；
其中，第二音频渲染设备被配置为维护第二音频信道的所接收的音频数据帧的第二缓冲器，并且在相应的第二缓冲器释放时间，从所述第二缓冲器释放第二音频信道的音频数据帧以用于渲染；
其中，第一音频渲染设备被配置为从第二音频渲染设备接收一个或多个消息；以及
其中，至少第一音频渲染设备被配置为基于所接收的一个或多个消息使第一缓冲器释放时间与第二缓冲器释放时间同步。
实施例2：根据实施例1所述的音频渲染系统；其中，第一缓冲释放时间以第一间隔规则地间隔开，并且其中，第二缓冲器释放时间以等于第一间隔的第二间隔规则地间隔开。
实施例3：根据前述任一实施例所述的音频渲染系统；其中，无线通信设备被配置为根据传输调度发送多个第一音频分组和多个第二音频分组，使得多个第一音频分组的音频分组被调度用于传输到第一音频渲染设备，并且在多个第一音频分组的对应音频分组被调度用于传输之后，多个第二音频分组的每个音频分组被调度用于以延迟间隔传输到第二音频渲染设备；并且其中，至少第一音频渲染设备被配置为基于所交换的消息中的至少一个来确定延迟间隔。
实施例4：根据实施例3所述的音频渲染系统；其中，第一音频渲染设备被配置为
确定指示从无线通信设备接收多个第一音频分组的音频分组的相应时间的第一分组接收时间；
从所确定的第一分组接收时间以及从延迟间隔确定第一缓冲器释放时间。
实施例5：根据实施例4所述的音频渲染系统；其中，第一音频渲染设备被配置为在所确定的以缓冲器延迟所延迟的分组接收时间从第一缓冲器释放音频分组，该缓冲器延迟被配置为补偿一个或多个延迟，包括所述延迟间隔。
实施例6：根据实施例3至5中任一项所述的音频渲染系统；其中，至少第一音频渲染设备被配置为从第二音频渲染设备接收消息，该消息指示第二音频渲染设备接收多个第二音频分组中的先前音频分组的时间；并且从所接收的消息以及从第一音频渲染设备接收多个第一音频分组中的先前音频分组的时间来确定延迟间隔。
实施例7：根据前述实施例中任一项所述的音频渲染系统；其中，对于第二音频信道的每个音频数据帧，第一音频信道的音频数据帧包括对应的音频数据帧，使得第二音频信道的帧中的音频数据和第一音频信道的对应帧中的音频数据被配置为分别作为第一音频信道和第二音频信道的一部分进行同步渲染。
实施例8：根据实施例7所述的音频渲染系统；其中，第一音频信道的每个音频数据帧具有相关联的序列号；其中，第二音频信道的每个音频数据帧具有相关联的序列号，使得第一音频信道的每个音频数据帧具有等于第二音频信道的对应音频数据帧的相应序列号的序列号。
实施例9：根据实施例8所述的音频渲染系统；其中，第一音频渲染设备被配置为从第二音频渲染设备接收消息，该消息指示被调度为在下一个缓冲器释放时间从第二帧缓冲器释放的帧的序列号。
实施例10：根据实施例9所述的音频渲染系统；其中，第一音频渲染设备被配置为响应于所接收的消息来维护第一缓冲器。
实施例11：根据实施例10所述的音频渲染系统；其中，响应于所接收的消息维护第一缓冲器包括以下中的一个或多个：
选择第一缓冲器的缓冲器深度；
从第一缓冲器中丢弃音频数据帧；
延迟音频数据帧从第一缓冲器的释放；
重置第一缓冲器。
实施例12：根据实施例9至11中任一项所述的音频渲染系统；其中，来自第二音频渲染设备的接收消息进一步指示自从第二音频渲染设备接收到被调度为在下一个缓冲器释放时间从第二帧缓冲器释放的所述帧以来经过的时间。
实施例13：根据实施例9至12中任一项所述的音频渲染系统；其中，来自第二音频渲染设备的接收消息进一步指示第二缓冲器的第二缓冲器深度。
实施例14：根据前述实施例中任一项所述的音频渲染系统；其中，音频数据用于包括多个立体声音频信道的立体声音频输出。
实施例15：根据前述实施例中任一项所述的音频渲染系统；其中，第一和第二音频渲染设备分别是左和右助听仪器。
实施例16：根据前述实施例中任一项所述的音频渲染系统；其中，无线通信设备被配置为经由相应的连接导向式通信信道发送多个第一和多个第二音频分组。
实施例17：根据前述实施例中任一项所述的音频渲染系统；其中，无线通信设备被配置为经由相应的BLE通信链路发送多个第一和多个第二音频分组。
实施例18：根据前述实施例中任一项所述的音频渲染系统；其中，第一音频渲染设备包括第一收发机和/或第一天线，其被配置为与无线通信设备和第二音频渲染设备建立无线通信。
实施例19：一种音频渲染设备；包括：
至少一个无线通信接口，其被配置为
从无线通信设备接收多个第一音频分组，该多个第一音频分组包括来自一个或多个音频信道集合的第一音频信道的音频数据帧；
与另一音频渲染设备交换消息，该另一音频渲染设备被配置为从所述无线通信设备接收多个第二音频分组，该多个第二音频分组包括来自所述一个或多个音频信道集合的第二音频信道的音频数据帧；
信号处理器，其被配置为处理多个第一音频分组中包括的音频数据帧，以供第一音频渲染设备渲染；
其中，至少一个无线通信接口进一步被配置为：
维护所接收的音频数据帧的第一缓冲器，并在相应的第一缓冲器释放时间，从所述第一缓冲器向信号处理器释放音频数据帧以用于渲染；
从另一音频渲染设备接收一个或多个消息；以及
基于所接收的一个或多个消息将第一缓冲器释放时间与第二缓冲器释放时间同步，在该第二缓冲器释放时间，另一音频渲染设备从由另一音频渲染设备维护的所接收的音频数据帧的第二缓冲器释放音频数据帧。
实施例20：一种用于同步由一对音频渲染设备渲染的音频内容的方法，由所述一对音频渲染设备实现，所述一对音频渲染设备包括第一音频渲染设备和第二音频渲染设备；该方法包括：
由第一音频渲染设备从无线通信设备接收多个第一音频分组，该多个第一音频分组包括来自一个或多个音频信道集合的第一音频信道的音频数据帧；
由第二音频渲染设备从无线通信设备接收多个第二音频分组，该多个第二音频分组包括来自所述一个或多个音频信道集合的第二音频信道的音频数据帧；
由第一音频渲染设备维护所接收的音频数据帧的第一缓冲器，并在相应的第一缓冲器释放时间，从所述第一缓冲器释放音频数据帧以用于渲染；
由第二音频渲染设备维护所接收的音频数据帧的第二缓冲器，并在相应的第二缓冲器释放时间，从所述第二缓冲器释放音频数据帧以用于渲染；
由第一音频渲染设备从第二音频渲染设备接收一个或多个消息；以及
由至少第一音频渲染设备，基于所接收的一个或多个消息，将第一缓冲器释放时间与第二缓冲器释放时间同步。

Claims (15)

1.一种音频渲染系统，包括无线通信设备、第一音频渲染设备以及第二音频渲染设备；
其中，所述无线通信设备被配置为向所述第一音频渲染设备发送多个第一音频分组并且向所述第二音频渲染设备发送多个第二音频分组，所述多个第一音频分组包括来自一个或多个音频信道集合的第一音频信道的音频数据帧，并且所述多个第二音频分组包括来自所述一个或多个音频信道集合的第二音频信道的音频数据帧；
其中，所述第一音频渲染设备被配置为维护所述第一音频信道的所接收的音频数据帧的第一缓冲器，并且在相应的第一缓冲器释放时间，从所述第一缓冲器释放所述第一音频信道的音频数据帧以用于渲染；
其中，所述第二音频渲染设备被配置为维护所述第二音频信道的所接收的音频数据帧的第二缓冲器，并且在相应的第二缓冲器释放时间，从所述第二缓冲器释放所述第二音频信道的音频数据帧以用于渲染；
其中，所述第一音频渲染设备被配置为从所述第二音频渲染设备接收一个或多个消息；以及
其中，至少所述第一音频渲染设备被配置为基于所接收的一个或多个消息使所述第一缓冲器释放时间与所述第二缓冲器释放时间同步。
2.根据权利要求1所述的音频渲染系统，其中，所述第一缓冲器释放时间以第一间隔规则地间隔开，并且其中，所述第二缓冲器释放时间以等于所述第一间隔的第二间隔规则地间隔开。
3.根据前述权利要求中任一项所述的音频渲染系统，其中，所述无线通信设备被配置为根据传输调度发送所述多个第一音频分组和所述多个第二音频分组，使得所述多个第一音频分组的音频分组被调度用于传输到所述第一音频渲染设备，并且在所述多个第一音频分组的对应音频分组被调度用于传输之后，所述多个第二音频分组的每个音频分组被调度用于以延迟间隔传输到所述第二音频渲染设备；并且其中，至少所述第一音频渲染设备被配置为基于所交换的消息中的至少一个来确定所述延迟间隔。
4.根据权利要求3所述的音频渲染系统，其中，所述第一音频渲染设备被配置为：
确定指示从所述无线通信设备接收所述多个第一音频分组的音频分组的相应时间的第一分组接收时间；
从所确定的第一分组接收时间以及从所述延迟间隔确定所述第一缓冲器释放时间。
5.根据权利要求4所述的音频渲染系统，其中，所述第一音频渲染设备被配置为在所确定的以缓冲器延迟所延迟的分组接收时间从所述第一缓冲器释放音频分组，所述缓冲器延迟被配置为补偿一个或多个延迟，包括所述延迟间隔。
6.根据权利要求3至5中任一项所述的音频渲染系统，其中，至少所述第一音频渲染设备被配置为从所述第二音频渲染设备接收消息，该消息指示所述第二音频渲染设备接收所述多个第二音频分组中的先前音频分组的时间；并且从所接收的消息以及从所述第一音频渲染设备接收所述多个第一音频分组中的先前音频分组的时间来确定所述延迟间隔。
7.根据前述权利要求中任一项所述的音频渲染系统，其中，对于所述第二音频信道的每个音频数据帧，所述第一音频信道的音频数据帧包括对应的音频数据帧，使得所述第二音频信道的帧中的音频数据和所述第一音频信道的对应帧中的音频数据被配置为分别作为所述第一音频信道和所述第二音频信道的一部分进行同步渲染。
8.根据权利要求7所述的音频渲染系统，其中，所述第一音频信道的每个音频数据帧具有相关联的序列号；其中，所述第二音频信道的每个音频数据帧具有相关联的序列号，使得所述第一音频信道的每个音频数据帧具有与所述第二音频信道的对应音频数据帧的相应序列号相等的序列号。
9.根据权利要求8所述的音频渲染系统，其中，所述第一音频渲染设备被配置为从所述第二音频渲染设备接收消息，该消息指示被调度为在下一个缓冲器释放时间从第二帧缓冲器释放的帧的序列号。
10.根据权利要求9所述的音频渲染系统，其中，所述第一音频渲染设备被配置为响应于所接收的消息来维护所述第一缓冲器。
11.根据权利要求10所述的音频渲染系统，其中，响应于所接收的消息来维护所述第一缓冲器包括以下中的一个或多个：
选择所述第一缓冲器的缓冲器深度；
从所述第一缓冲器中丢弃音频数据帧；
延迟音频数据帧从所述第一缓冲器的释放；
重置所述第一缓冲器。
12.根据权利要求9至11中任一项所述的音频渲染系统，其中，来自所述第二音频渲染设备的接收消息进一步指示自从所述第二音频渲染设备接收到被调度为在所述下一个缓冲器释放时间从第二帧缓冲器释放的所述帧以来经过的时间。
13.根据权利要求9至12中任一项所述的音频渲染系统，其中，来自所述第二音频渲染设备的接收消息进一步指示所述第二缓冲器的第二缓冲器深度。
14.一种音频渲染设备，包括：
至少一个无线通信接口，被配置为：
从无线通信设备接收多个第一音频分组，所述多个第一音频分组包括来自一个或多个音频信道集合的第一音频信道的音频数据帧；
与另一音频渲染设备交换消息，所述另一音频渲染设备被配置为从所述无线通信设备接收多个第二音频分组，所述多个第二音频分组包括来自所述一个或多个音频信道集合的第二音频信道的音频数据帧；
信号处理器，被配置为处理所述多个第一音频分组中包括的音频数据帧，以供所述第一音频渲染设备渲染；
其中，所述至少一个无线通信接口进一步被配置为：
维护所接收的音频数据帧的第一缓冲器，并在相应的第一缓冲器释放时间，从所述第一缓冲器向所述信号处理器释放音频数据帧以用于渲染；
从所述另一音频渲染设备接收一个或多个消息；并且
基于所接收的一个或多个消息，将所述第一缓冲器释放时间与第二缓冲器释放时间同步，在所述第二缓冲器释放时间，所述另一音频渲染设备从由所述另一音频渲染设备维护的所接收的音频数据帧的第二缓冲器释放音频数据帧。
15.一种用于同步由一对音频渲染设备渲染的音频内容的方法，由所述一对音频渲染设备实现，所述一对音频渲染设备包括第一音频渲染设备和第二音频渲染设备，所述方法包括：
由所述第一音频渲染设备从无线通信设备接收多个第一音频分组，所述多个第一音频分组包括来自一个或多个音频信道集合的第一音频信道的音频数据帧；
由所述第二音频渲染设备从所述无线通信设备接收多个第二音频分组，所述多个第二音频分组包括来自所述一个或多个音频信道集合的第二音频信道的音频数据帧；
由所述第一音频渲染设备维护所接收的音频数据帧的第一缓冲器，并在相应的第一缓冲器释放时间，从所述第一缓冲器释放音频数据帧以用于渲染；
由所述第二音频渲染设备维护所接收的音频数据帧的第二缓冲器，并在相应的第二缓冲器释放时间，从所述第二缓冲器释放音频数据帧以用于渲染；
由所述第一音频渲染设备从所述第二音频渲染设备接收一个或多个消息；以及
由至少所述第一音频渲染设备，基于所接收的一个或多个消息，将所述第一缓冲器释放时间与所述第二缓冲器释放时间同步。
CN201910660506.8A 2018-08-07 2019-07-22 音频渲染系统 Pending CN110825338A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DKPA201870518 2018-08-07
DKPA201870518 2018-08-07
EP18189208.4A EP3609207B1 (en) 2018-08-07 2018-08-15 An audio rendering system
EP18189208.4 2018-08-15

Publications (1)

Publication Number Publication Date
CN110825338A true CN110825338A (zh) 2020-02-21

Family

ID=63442396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910660506.8A Pending CN110825338A (zh) 2018-08-07 2019-07-22 音频渲染系统

Country Status (5)

Country Link
US (3) US10904666B2 (zh)
EP (3) EP3609207B1 (zh)
JP (1) JP2020046657A (zh)
CN (1) CN110825338A (zh)
DK (2) DK3609207T3 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022021899A1 (zh) * 2020-07-31 2022-02-03 北京全景声信息科技有限公司 音频处理方法、装置、无线耳机以及存储介质
WO2022021898A1 (zh) * 2020-07-31 2022-02-03 北京全景声信息科技有限公司 音频处理方法、装置、系统以及存储介质
CN117032620A (zh) * 2023-06-30 2023-11-10 荣耀终端有限公司 音频焦点控制方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544032B2 (en) * 2019-01-24 2023-01-03 Dolby Laboratories Licensing Corporation Audio connection and transmission device
US11991501B2 (en) 2019-12-03 2024-05-21 Starkey Laboratories, Inc. Audio synchronization for hearing devices
US11304006B2 (en) * 2020-03-27 2022-04-12 Bose Corporation Systems and methods for broadcasting audio
EP3930348A3 (en) * 2020-06-25 2022-03-23 Oticon A/s A hearing system comprising a hearing aid and a processing device
DK180923B1 (en) * 2020-07-27 2022-06-27 Gn Hearing As MAIN PORTABLE HEARING INSTRUMENT WITH ENHANCED COEXISTENCE BETWEEN MULTIPLE COMMUNICATION INTERFACES
WO2022047612A1 (zh) 2020-09-01 2022-03-10 深圳市中科蓝讯科技股份有限公司 无线设备的通信方法、无线设备和计算机可读存储介质
US11627546B2 (en) * 2020-09-02 2023-04-11 Semiconductor Components Industries, Llc Delaying rendering time for audio computing systems
WO2022054451A1 (ja) * 2020-09-10 2022-03-17 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法
US11758434B2 (en) * 2020-10-20 2023-09-12 Harman International Industries, Incorporated Dynamic buffer allocation for bluetooth low energy isochronous transmissions
EP4109928A1 (en) * 2021-06-21 2022-12-28 Sonova AG Method and system for streaming a multichannel audio signal to a binaural hearing system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101263735A (zh) * 2005-09-15 2008-09-10 皇家飞利浦电子股份有限公司 用于同步音频数据处理的音频数据处理设备和方法
US20090238375A1 (en) * 2008-03-24 2009-09-24 Broadcom Corporation Dual streaming with exchange of fec streams by audio sinks
US20130060363A1 (en) * 2011-09-02 2013-03-07 David S. Warren Slave Mode Transmit with Zero Delay for Audio Interface
US20140348327A1 (en) * 2013-05-21 2014-11-27 Apple Inc. Synchronization of Multi-Channel Audio Communicated over Bluetooth Low Energy
US20160098244A1 (en) * 2014-10-03 2016-04-07 Airoha Technology Corp. Audio synchronization method for bluetooth speakers
US9742471B1 (en) * 2016-06-17 2017-08-22 Nxp B.V. NFMI based synchronization
US20170277507A1 (en) * 2016-03-25 2017-09-28 Semiconductor Components Industries, Llc Systems and methods for audio playback

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070086601A1 (en) 2005-10-17 2007-04-19 Mitchler Dennis W Flexible wireless air interface system
US20090298420A1 (en) * 2008-05-27 2009-12-03 Sony Ericsson Mobile Communications Ab Apparatus and methods for time synchronization of wireless audio data streams
US8768252B2 (en) * 2010-09-02 2014-07-01 Apple Inc. Un-tethered wireless audio system
DK2742702T3 (en) * 2011-08-09 2016-12-12 Sonova Ag WIRELESS sound delivery AND METHOD / WIRELESS SOUND TRANSMISSION SYSTEM AND METHOD
US20130266152A1 (en) * 2012-04-06 2013-10-10 Koss Corporation Synchronizing wireless earphones
US9661425B2 (en) * 2014-01-15 2017-05-23 Starkey Laboratories, Inc. Method and apparatus for rendering audio in wireless hearing instruments
GB2518921B (en) * 2014-03-24 2016-02-17 Imagination Tech Ltd High definition timing synchronisation function
EP3149963B1 (en) 2014-05-28 2018-03-07 Sonova AG Hearing assistance system and method
JP6582589B2 (ja) * 2015-06-16 2019-10-02 ヤマハ株式会社 オーディオ機器
EP3116239B1 (en) * 2015-07-08 2018-10-03 Oticon A/s Method for selecting transmission direction in a binaural hearing aid
US10003896B2 (en) * 2015-08-18 2018-06-19 Gn Hearing A/S Method of exchanging data packages of different sizes between first and second portable communication devices
US10397684B2 (en) * 2016-01-05 2019-08-27 Voxx International Corporation Wireless speaker system
JP6645272B2 (ja) 2016-03-02 2020-02-14 コニカミノルタ株式会社 静電荷像現像用トナーの製造方法
CN109313465A (zh) * 2016-04-05 2019-02-05 惠普发展公司，有限责任合伙企业 用于多个麦克风和扬声器系统与主机对接的音频接口
US10206084B2 (en) 2016-12-27 2019-02-12 Avago Technologies International Sales Pte. Limited Power-efficient, balanced, and reliable true wireless bluetooth stereo audio solution
EP3565279A4 (en) * 2016-12-28 2020-01-08 Sony Corporation AUDIO SIGNAL REPRODUCING DEVICE AND REPRODUCING METHOD, SOUND COLLECTING DEVICE AND SOUND COLLECTING METHOD, AND PROGRAM
US10492001B1 (en) * 2018-05-10 2019-11-26 Microchip Technology Incorporated Data packet compensation in multi-device media systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101263735A (zh) * 2005-09-15 2008-09-10 皇家飞利浦电子股份有限公司 用于同步音频数据处理的音频数据处理设备和方法
US20090238375A1 (en) * 2008-03-24 2009-09-24 Broadcom Corporation Dual streaming with exchange of fec streams by audio sinks
US20130060363A1 (en) * 2011-09-02 2013-03-07 David S. Warren Slave Mode Transmit with Zero Delay for Audio Interface
US20140348327A1 (en) * 2013-05-21 2014-11-27 Apple Inc. Synchronization of Multi-Channel Audio Communicated over Bluetooth Low Energy
US20160098244A1 (en) * 2014-10-03 2016-04-07 Airoha Technology Corp. Audio synchronization method for bluetooth speakers
US20170277507A1 (en) * 2016-03-25 2017-09-28 Semiconductor Components Industries, Llc Systems and methods for audio playback
US9742471B1 (en) * 2016-06-17 2017-08-22 Nxp B.V. NFMI based synchronization

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022021899A1 (zh) * 2020-07-31 2022-02-03 北京全景声信息科技有限公司 音频处理方法、装置、无线耳机以及存储介质
WO2022021898A1 (zh) * 2020-07-31 2022-02-03 北京全景声信息科技有限公司 音频处理方法、装置、系统以及存储介质
CN117032620A (zh) * 2023-06-30 2023-11-10 荣耀终端有限公司 音频焦点控制方法及装置

Also Published As

Publication number Publication date
EP3883276B1 (en) 2023-05-10
US20210127207A1 (en) 2021-04-29
US10904666B2 (en) 2021-01-26
EP3609207A1 (en) 2020-02-12
EP3883276A1 (en) 2021-09-22
DK3883276T3 (da) 2023-07-10
DK3609207T3 (da) 2021-06-28
EP4221278A1 (en) 2023-08-02
US20230145928A1 (en) 2023-05-11
US20200053460A1 (en) 2020-02-13
JP2020046657A (ja) 2020-03-26
EP3609207B1 (en) 2021-05-19
US11689852B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
EP3883276B1 (en) An audio rendering system
US11463824B2 (en) Method of exchanging data packages of different sizes between first and second portable communication devices
US9813815B2 (en) Method of wireless transmission of digital audio
US9819705B2 (en) Method of exchanging data packages between first and second portable communication devices using a favoured frequency band
US9831988B2 (en) Method of exchanging data packages between first and second portable communication devices
JP6891242B2 (ja) デジタル・オーディオのワイヤレス送信の新規な方法
EP3327969B1 (en) A new method of wireless transmission of digital audio
JP2017076956A (ja) 第１のポータブル通信デバイスと第２のポータブル通信デバイスの間で異なるサイズのデータ・パッケージを交換する方法
CN106658320B (zh) 使用中意频段在第一便携式通信设备和第二便携式通信设备之间交换数据包的方法
JP6870935B2 (ja) 第１のポータブル通信デバイスと第２のポータブル通信デバイスの間でデータ・パッケージを交換する方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination