CN117501235A - 音频控制方法、控制装置、驱动电路以及可读存储介质 - Google Patents

音频控制方法、控制装置、驱动电路以及可读存储介质 Download PDF

Info

Publication number
CN117501235A
CN117501235A CN202280001637.5A CN202280001637A CN117501235A CN 117501235 A CN117501235 A CN 117501235A CN 202280001637 A CN202280001637 A CN 202280001637A CN 117501235 A CN117501235 A CN 117501235A
Authority
CN
China
Prior art keywords
sound
speakers
vector
emitting
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280001637.5A
Other languages
English (en)
Inventor
张良浩
谷朝芸
姬雅倩
韩文超
段欣
于淑环
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Display Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Display Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Display Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of CN117501235A publication Critical patent/CN117501235A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00—Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02—Control of operating function, e.g. switching from recording to reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本公开提供了一种音频控制方法、控制装置、驱动电路以及可读存储介质。根据本公开一些实施例的音频控制方法适用于配置有M个扬声器的显示屏幕，其中，M为大于等于2的整数，该方法包括：获取声音对象相对于显示屏幕的声像坐标；根据声像坐标以及M个扬声器相对于显示屏幕的位置坐标，从M个扬声器中确定N个扬声器作为发声扬声器，其中，N为小于等于M的整数；根据N个发声扬声器与显示屏幕的观看者之间的距离以及声音衰减系数来分别确定N个发声扬声器的输出增益；以及根据声音对象的音频数据以及N个发声扬声器的输出增益来计算得到声音对象在显示屏幕中的输出音频数据，并控制M个扬声器来播放输出音频数据。

Description

音频控制方法、控制装置、驱动电路以及可读存储介质 技术领域
本公开涉及屏幕发声技术领域，更具体地，涉及一种音频控制方法、控制装置、驱动电路以及可读存储介质。
背景技术
随着显示技术的不断发展，显示屏幕越来越大，配套的发声系统与大屏画面不匹配的情况越来越严重，无法实现声画合一的视听效果，降低了用户体验。在一些应用场景中，屏幕发声技术通过在显示屏幕下方布置多个扬声器来缓解这种问题。然而，现有的屏幕发声技术仅基于传统的两声道和三声道音频播放技术，难以进一步提高音画合一的视听效果。
发明内容
本公开的一些实施例提供了一种音频控制方法、控制装置、驱动电路以及可读存储介质，用于提高屏幕发声系统的声画合一效果。
根据本公开的一方面，提供了一种音频控制方法，该方法适用于配置有M个扬声器的显示屏幕，其中，M为大于等于2的整数。音频控制方法包括：获取声音对象相对于显示屏幕的声像坐标；根据声像坐标以及M个扬声器相对于显示屏幕的位置坐标，从M个扬声器中确定N个扬声器作为发声扬声器，其中，N为小于等于M的整数；根据N个发声扬声器与显示屏幕的观看者之间的距离以及声音衰减系数来分别确定N个发声扬声器的输出增益；以及根据声音对象的音频数据以及N个发声扬声器的输出增益来计算得到声音对象在显示屏幕中的输出音频数据，并控制M个扬声器来播放该输出音频数据。
根据本公开的一些实施例，从M个扬声器中确定N个扬声器作为发声扬声器包括：分别计算M个扬声器的位置坐标与声像坐标之间的距离，并将距离最近的3个扬声器确定为发声扬声器，其中，N＝3。
根据本公开的一些实施例，根据N个发声扬声器与显示屏幕的观看者之 间的距离以及声音衰减系数来分别确定N个发声扬声器的输出增益包括：获取观看者指向N个发声扬声器的N个矢量；基于N个矢量的矢量模长之间的差值来更新N个矢量的矢量模长，并利用矢量幅度平移算法基于更新后的N个矢量来计算得到N个初始增益；以及基于N个矢量的矢量模长分别得到N个声音衰减系数，基于N个声音衰减系数与N个初始增益的乘积得到N个输出增益。
根据本公开的一些实施例，基于N个矢量的矢量模长之间的差值来更新N个矢量的矢量模长，并利用矢量幅度平移算法基于更新后的N个矢量来计算得到N个初始增益包括：确定N个发声扬声器的N个矢量中矢量模长最大的发声扬声器，其中，将矢量模长最大的发声扬声器表示为第一发声扬声器，将第一发声扬声器的矢量模长表示为第一矢量模长，将N个发声扬声器中除第一发声扬声器之外的发声扬声器表示为第二发声扬声器；基于第二发声扬声器的矢量方向以及第一矢量模长获得延长后的矢量；以及基于第一发声扬声器的矢量以及第二发声扬声器延长后的矢量根据矢量幅度平移算法来计算得到N个初始增益。
根据本公开的一些实施例，基于N个矢量的矢量模长来分别得到N个声音衰减系数包括：对于第二发声扬声器中的每一个，计算第二发声扬声器的矢量模长与第一矢量模长之间的差值d，基于差值d按照k＝20log(10,d)计算得到声音衰减系数k；以及将第一发声扬声器的声音衰减系数设置为0。
根据本公开的一些实施例，M个扬声器以矩阵形式等间隔的布置在显示屏幕中。
根据本公开的一些实施例，根据声音对象的音频数据以及N个发声扬声器的输出增益来计算得到声音对象在显示屏幕中的输出音频数据，并控制M个扬声器来播放该输出音频数据包括：将M个扬声器中除N个发声扬声器之外的扬声器的输出增益设置为0；以及将音频数据分别与M个扬声器的输出增益相乘，得到包括M个音频分量的输出音频数据，并控制M个扬声器分别输出与之对应的M个音频分量之一。
根据本公开的一些实施例，将音频数据分别与M个扬声器的输出增益相乘包括：将音频数据延迟预定时间间隔，并将延迟后的音频数据与M个扬声器的输出增益相乘。
根据本公开的一些实施例，获取声音对象相对于显示屏幕的声像坐标包括：制作包括声音对象的视频数据，其中控制声音对象进行移动，其中，显示屏幕用于输出视频数据；以及记录声音对象的移动轨迹以得到声像坐标。
根据本公开的另一方面，提供了一种音频控制装置，该装置适用于配置有M个扬声器的显示屏幕，其中，M为大于等于2的整数。音频控制装置包括：声像坐标单元，配置成获取声音对象相对于显示屏幕的声像坐标；坐标比较单元，配置成根据声像坐标以及M个扬声器相对于显示屏幕的位置坐标，从M个扬声器中确定N个扬声器作为发声扬声器，其中，N为小于等于M的整数；增益计算单元，配置成根据N个发声扬声器与显示屏幕的观看者之间的距离以及声音衰减系数来分别确定N个发声扬声器的输出增益；以及输出单元，配置成根据声音对象的音频数据以及N个发声扬声器的输出增益来计算得到声音对象在显示屏幕中的输出音频数据，并控制M个扬声器来播放该输出音频数据。
根据本公开的一些实施例，坐标比较单元从M个扬声器中确定N个扬声器作为发声扬声器包括：分别计算M个扬声器的位置坐标与声像坐标之间的距离，并将距离最近的3个扬声器确定为发声扬声器，其中，N＝3。
根据本公开的一些实施例，增益计算单元根据N个发声扬声器与显示屏幕的观看者之间的距离以及声音衰减系数来分别确定N个发声扬声器的输出增益包括：获取观看者指向N个发声扬声器的N个矢量；基于N个矢量的矢量模长之间的差值来更新N个矢量的矢量模长，并利用矢量幅度平移算法基于更新后的N个矢量来计算得到N个初始增益；以及基于N个矢量的矢量模长分别得到N个声音衰减系数，基于N个声音衰减系数与N个初始增益的乘积得到N个输出增益。
根据本公开的一些实施例，增益计算单元基于N个矢量的矢量模长之间的差值来更新N个矢量的矢量模长，并利用矢量幅度平移算法基于更新后的N个矢量来计算得到N个初始增益包括：确定N个发声扬声器的N个矢量中矢量模长最大的发声扬声器，其中，将矢量模长最大的发声扬声器表示为第一发声扬声器，将第一发声扬声器的矢量模长表示为第一矢量模长，将N个发声扬声器中除第一发声扬声器之外的发声扬声器表示为第二发声扬声器；基于第二发声扬声器的矢量方向以及第一矢量模长获得延长后的矢量；以及基 于第一发声扬声器的矢量以及第二发声扬声器延长后的矢量根据矢量幅度平移算法来计算得到N个初始增益。
根据本公开的一些实施例，增益计算单元基于N个矢量的矢量模长来分别得到N个声音衰减系数包括：对于第二发声扬声器中的每一个，计算第二发声扬声器的矢量模长与第一矢量模长之间的差值d，基于差值d按照k＝20log(10,d)计算得到声音衰减系数k；以及将第一发声扬声器的声音衰减系数设置为0。
根据本公开的一些实施例，M个扬声器以矩阵形式等间隔的布置在显示屏幕中。
根据本公开的一些实施例，输出单元根据声音对象的音频数据以及N个发声扬声器的输出增益来计算得到声音对象在显示屏幕中的输出音频数据，并控制M个扬声器来播放该输出音频数据包括：将M个扬声器中除N个发声扬声器之外的扬声器的输出增益设置为0；以及将音频数据分别与M个扬声器的输出增益相乘，得到包括M个音频分量的输出音频数据，并控制M个扬声器分别输出与之对应的M个音频分量之一。
根据本公开的一些实施例，输出单元将音频数据分别与M个扬声器的输出增益相乘包括：将音频数据延迟预定时间间隔，并将延迟后的音频数据与M个扬声器的输出增益相乘。
根据本公开的一些实施例，声像坐标单元获取声音对象相对于显示屏幕的声像坐标包括：制作包括声音对象的视频数据，其中控制声音对象进行移动，其中，显示屏幕用于输出视频数据；以及记录声音对象的移动轨迹以得到声像坐标。
根据本公开的又一方面，提供了一种基于多声道拼接屏幕发声系统的驱动电路。该驱动电路包括：多声道声卡，配置成接收声音数据，其中，声音数据包括声道数据和声像数据，其中，声像数据包括声音对象的音频数据以及坐标；音频控制电路，配置成按照如上所述的音频控制方法来得到声音对象在显示屏幕中的输出音频数据；以及声音标准单元，其中，声音标准单元包括功放板和屏幕发声器件，声音标准单元配置成输出声道数据以及输出音频数据。
根据本公开的又一方面，提供了一种非暂时性计算机可读存储介质，其上存储有指令，指令在被处理器执行时，使得处理器执行如上所述的音频控制方 法。
利用根据本公开一些实施例的音频控制方法、控制装置、驱动电路以及可读存储介质，能够根据声音对象的声像坐标以及多个扬声器的坐标来准确的确定发声扬声器的位置，并且进一步地，还能够根据观看者的位置、声音衰减系数来对确定的发声扬声器的增益进行调整，从而提高大屏幕的声画合一的视听效果，更能实现针对声音对象的环绕立体声体验，有助于提升大屏用户的观看体验。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本公开实施例的音频控制方法的示意性流程图；
图2示出了配置有32个屏下扬声器的显示屏幕的示意图；
图3示出了声音对象与3个扬声器的三维位置关系；
图4示出了位于显示屏幕所在平面内的3个发声扬声器以及声音对象的位置关系；
图5示出了根据本公开一些实施例的音频控制方法的实现过程示意图；
图6示出了生成声像坐标的实现过程示意图；
图7示出了根据本公开一些实施例的音频控制方法的硬件实现流程；
图8示出了根据本公开一些实施例的播放器架构的示意图；
图9示出了根据本公开的一些实施例的音频控制方法的应用流程图；
图10示出了应用根据本公开实施例的音频控制方法的驱动电路的示意图；
图11示出了声音数据的数据格式的示意图；
图12示出了数据分离模块的示意图；
图13示出了音频控制单元的示意图；
图14A示出了混合模块Mixture的示意图；
图14B示出了声道合并的示意图；
图15示出了根据本公开的一些实施例的音频控制装置的示意性框图；
图16示出了根据本公开的一些实施例的驱动电路的示意性框图；
图17示出了根据本公开一些实施例的硬件设备的示意性框图；
图18示出了根据本公开一些实施例的非暂时性计算机可读存储介质的示意图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
本公开中使用了流程图来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。可以理解的是，本文中涉及的专业术语、名词具有本领域技术人员所公知的含义。
随着显示技术的快速发展，显示屏幕的尺寸越来越大，例如用于满足大型展会等应用场景的需求。对于具有较大显示尺寸的显示屏幕而言，配套的发声系统与大屏显示画面不匹配的情况越来越严重，无法达到声画合一的播放效果。具体的，声画合一可以是指显示屏幕的显示画面与播放的声音协调一致，也可以称为声画同步。声画合一的显示效果能够增强画面的真实感，提高视觉形象的感染力。
屏幕发声技术用于解决大显示屏幕难以实现声画合一的技术问题，然而，现有的屏幕发声技术仍是依赖于传统的两声道或三声道技术，但是此技术并没有完全解决大屏幕尺寸应用中音画无法合一的问题。因此，需要更精准的声音定位系统和更多的屏幕发声扬声器来实现音画合一。现有屏幕发声系统中 没有满足多声道的电路驱动方案，虽然可以根据两声道的电路驱动方案进行拼接，但是这种拼接只能实现数量增加，没办法根据片源内容实时控制发声位置和发声效果以达到更优的音画合一效果。
本公开的一些实施例，提出了一种音频控制方法，该方法适用于配置有多个扬声器的显示屏幕，例如，扬声器可以以阵列式的结构布置在显示屏幕的下方，用于解决多声道屏幕发声音画无法合一的问题。作为示例，根据本公开一些实施例的音频控制方法能够实现在多声道屏幕发声驱动电路中，用于针对布置有多个屏下扬声器的显示屏幕进行音频驱动控制，具体的，该音频控制方法能够根据声音对象的位置来实时地控制扬声器的发声数量以及位置，并控制发声扬声器的输出增益，以实现更优的视听体验。此外，根据本公开实施例的音频控制方法还可以结合音频拼接单元以实现声道拼接，根据用户需求实时地拼接出任意声道数目。
图1示出了根据本公开实施例的音频控制方法的示意性流程图，如图1所示，首先，在步骤S101，获取声音对象相对于显示屏幕的声像坐标。其中，声音对象可以理解为屏幕中显示的正在发声的对象，例如，可以是一个人物形象或者是其他需要发出声音的对象。根据本公开的一些实施例的音频控制方法适用于配置有M个扬声器的显示屏幕，其中，M为大于等于2的整数。作为示例，在应用于具备屏幕发声技术的显示屏幕的情况下，M个扬声器布置在显示屏幕的下方。作为示例，图2示出了配置有32个屏下扬声器的显示屏幕的示意图，即，M＝32。如图2所示，32个扬声器以矩阵的形式等间隔的布置在显示屏幕中。可以理解的是，M也可以是其他的数值，此外，显示屏幕中扬声器的布局也可以采取其他的形式，例如非等间隔的布置等，在此不作限制。此外，图2中示出的显示屏幕仅作为根据本公开实施例的音频控制方法的其中一种应用场景，该音频控制方法也可以适用于其他类型的显示屏幕，例如，扬声器也可以布置成环绕显示屏幕的四周，在此不作限制。在下文中，将以图2所示出的显示屏幕作为一种应用场景来描述根据本公开实施例的音频控制方法的具体实现过程。
具体的，在步骤S101中，声音对象相对于显示屏幕的声像坐标可以理解为，声音对象在相对于显示屏幕的坐标系中的坐标，例如，如图2所示，在相对于显示屏幕的坐标系中，显示屏幕的左上角点的坐标为(0,0)，显示屏幕的 右下角点的坐标为(1,1)。基于声音对象在相对于显示屏幕的坐标系中的坐标，能够识别出当前发出声音的声音对象在显示屏幕中的位置，从而能够基于该声音对象的位置来为其选择特定的扬声器进行发声。
接着，如图1所示，在步骤S102，根据声像坐标以及M个扬声器相对于显示屏幕的位置坐标，从M个扬声器中确定N个扬声器作为发声扬声器，其中，N为小于等于M的整数。在此步骤中，由于扬声器相对于显示屏幕的布置是能够预知的，例如，如图2所示的布局形式，能够直接获取到32个扬声器中每个扬声器在显示屏幕中的相对位置，依据已知的扬声器的位置以及声音对象的位置，能够从32个扬声器中确定一部分的扬声器作为发声扬声器，即，用于播放对应于该声音对象的音频数据，以形成针对该声音对象的声画同步效果，例如，使得观看者能够在观看显示画面的同时感受到声音围绕着该声音对象。
根据本公开的一些实施例，确定发声扬声器的步骤可以包括：分别计算M个扬声器的位置坐标与声像坐标之间的距离，并将距离最近的3个扬声器确定为发声扬声器，其中，N＝3。在这些实施例中，以距离作为依据来选择发声扬声器，将距离声音对象的3个扬声器确定为发声扬声器。可以理解的是，发声扬声器的个数也可以是其他的数值。
接着，在步骤S103中，根据N个发声扬声器与显示屏幕的观看者之间的距离以及声音衰减系数来分别确定N个发声扬声器的输出增益。以及，在步骤S104中，根据声音对象的音频数据以及N个发声扬声器的输出增益来计算得到声音对象在显示屏幕中的输出音频数据，并控制M个扬声器来播放该输出音频数据。
根据本公开的实施例，在诸如依据距离确定了N个发声扬声器之后，还进一步考虑到观看者相对于显示屏幕的位置以及声音的衰减变化来精细化地调整发声扬声器的增益，例如，N个发声扬声器的增益设置为不同的数值，即使得处于声音对象不同位置的发声扬声器的声音强度是不同的，强化音画合一的视听效果。关于计算输出增益的具体过程，将在下文详细描述。
为了清楚理解本公开实施例的音频控制方法中确定发声扬声器的输出增益的过程，首先介绍矢量幅度平移算法(Vector-Base Amplitude Panning,VBAP)的实现过程。矢量幅度平移算法是用于在三维立体场景中，通过使用多个扬声 器、基于声音对象的位置再现三维立体声效果的方法，根据矢量幅度平移算法，可以使用3个扬声器来再现声音对象，其中根据声音对象的位置来对应于每个扬声器的增益。
作为示例，图3示出了声音对象与3个扬声器的三维位置关系。参考图3，围绕声音对象的周围布置有3个扬声器，分别为扬声器1、扬声器2和扬声器3，并且这3个扬声器的位置分别由位置矢量L1、L2和L3指示，其中，矢量L1、L2和L3的矢量方向为由听音者指向扬声器。在矢量幅度平移算法中，声音对象的位置与3个扬声器的位置置于同一个球面上，听音者位于球心的位置，其与扬声器的距离都为半径r。
此外，指示声音对象的位置的位置矢量P表示为P＝[P1,P2,P3]，其中P1、P2和P3分别表示声音对象的三维坐标。类似的，矢量L1、L2和L3可以分别表示为L1＝[L11,L12,L13]、L2＝[L21,L22,L23]、L3＝[L31,L32,L33]。
假设与位置矢量L1、L2和L3对应的3个扬声器的增益分别表示为g1、g2和g3，则应满足以下公式(1)：
P＝g1*L1+g2*L2+g3*L3 (1)
因此，通过以下公式(2)，可以从声音对象的位置矢量P以及扬声器的位置矢量L1、L2和L3来计算得到每个扬声器的增益。
在计算得到每个扬声器的增益之后，将声音对象的音频信号分别与增益进行相乘并进行播放，则可以使得听音者获得立体声环绕效果。可以理解的是，在以上图3所示出的矢量幅度平移算法中，需要声音对象位置与3个扬声器位置置于同一个球面上，然而，在实际的显示屏幕中，例如图2所示出的基于屏幕发声技术的显示屏幕中，声音对象与扬声器均位于一个平面内，并且与听音者的位置无法形成一个球面，如果继续按照以上公式(2)来计算得到增益进行声音播放，则难以实现准确的声画合一效果。
根据本公开的一些实施例，根据N个发声扬声器与显示屏幕的观看者之间的距离以及声音衰减系数来分别确定N个发声扬声器的输出增益(S103)包括：S1031，获取观看者指向N个发声扬声器的N个矢量；S1032，基于N 个矢量的矢量模长之间的差值来更新N个矢量的矢量模长，并利用矢量幅度平移算法基于更新后的N个矢量来计算得到N个初始增益；S1033，基于N个矢量的矢量模长分别得到N个声音衰减系数，基于N个声音衰减系数与N个初始增益的乘积得到N个输出增益。具体的，将以N＝3为示例进行描述。
为了便于理解，提供了图4，用于示出位于显示屏幕所在平面内的3个发声扬声器以及声音对象的位置关系。在图4中，显示屏幕的顶点分别示出为点A、B、C和D，3个扬声器示出为圆形，声音对象示出为三角形。
在以上步骤S1031中，首先将获得选择得到的3个发声扬声器的3个矢量，如图4所示，分别为R1、R2和R3，方向为以听音者为起点指向扬声器。在图4所示的示例中，为便于示出立体效果，将听音者设置在显示屏幕ABCD的左下角的延伸线处，可以理解的是，在实际的应用过程中，还可以将听音者设置在位于显示屏幕的正前方中间位置处，在此不作限制，听音者位置的差异仅涉及位置坐标的转换，在此不作限制。
在以上步骤S1032中，基于3个矢量的矢量模长之间的差值来更新3个矢量的矢量模长，并利用以上公式(2)示出的矢量幅度平移算法基于更新后的3个矢量来计算得到3个初始增益。具体的，获得初始增益的过程可以描述为步骤：S10321，确定N个发声扬声器的N个矢量中矢量模长最大的发声扬声器，其中，将矢量模长最大的发声扬声器表示为第一发声扬声器，将第一发声扬声器的矢量模长表示为第一矢量模长，将N个发声扬声器中除第一发声扬声器之外的发声扬声器表示为第二发声扬声器。例如，参考图4，扬声器2的矢量R2的矢量模长最大，即，扬声器2距离听音者最远，基于此，可以将扬声器2表示为第一发声扬声器，将第一发声扬声器的矢量模长R2表示为第一矢量模长，将3个发声扬声器中除第一发声扬声器之外的发声扬声器表示为第二发声扬声器，即对应于图4中的扬声器1和扬声器3。
接着，S10322，基于第二发声扬声器的矢量方向以及第一矢量模长获得延长后的矢量。也就是说，对于距离听音者较近的扬声器1和扬声器3，对其矢量的模长进行延伸，延伸至其与听音者之间的距离等于扬声器2与听音者之间的距离，并且矢量方向是不变的。由此，延伸后的扬声器1和扬声器3以及扬声器2距离听音者的距离相同，即，均等于矢量模长R2，这样可以使得，更新后的扬声器1-3与听音者的位置关系满足如图3所示的球面关系，并且 听音者位于球心的位置。
接着，S1033，基于第一发声扬声器的矢量以及第二发声扬声器延长后的矢量根据矢量幅度平移算法来计算得到N个初始增益。计算初始增益的过程可以参考以上公式(2)进行。
根据本公开的实施例，在获得初始增益之后，还将针对发声扬声器计算声音衰减系数，并基于声音衰减系数对计算得到的初始增益进行调整。根据本公开的一些实施例，基于N个矢量的矢量模长来分别得到N个声音衰减系数包括：对于第二发声扬声器中的每一个，计算第二发声扬声器的矢量模长与第一矢量模长之间的差值d，基于差值d按照k＝20log(10,d)计算得到声音衰减系数k。具体的，在图4的示例中，第二发声扬声器为扬声器1和扬声器3。例如，针对扬声器1，扬声器1的矢量模长R1与第一矢量模长R2之间的差值为d1，按照k1＝20log(10,d1)得到针对扬声器1的声音衰减系数k1。类似地，针对扬声器3，扬声器3的矢量模长R3与第一矢量模长R2之间的差值为d3，按照k3＝20log(10,d3)得到针对扬声器3的声音衰减系数k3。此外，对于并未进行延长的扬声器2，可以将其声音衰减系数设置为0。接着，基于得到的3个声音衰减系数与3个计算得到的初始增益的乘积来得到3个输出增益。
可以理解的是，在以上计算初始增益的过程中，对扬声器1和扬声器3的矢量模长进行了延长，使得计算得到的初始增益并不符合扬声器与屏幕的真实位置关系，为此，将针对延长后的扬声器来计算声音衰减，并基于计算得到的声音衰减信息来调整初始增益以得到最终的输出增益，这能够使得3个发声扬声器的音频播放效果对于听音者而言更满足音画合一的视听感受。
根据本公开的一些实施例，根据声音对象的音频数据以及N个发声扬声器的输出增益来计算得到声音对象在显示屏幕中的输出音频数据，并控制M个扬声器来播放该输出音频数据(S104)包括：将M个扬声器中除N个发声扬声器之外的扬声器的输出增益设置为0；以及将音频数据分别与M个扬声器的输出增益相乘，得到包括M个音频分量的输出音频数据，并控制M个扬声器分别输出与之对应的M个音频分量之一。
作为示例，对于如图2所示的显示屏幕中的32个扬声器，基于与声音对象的距离首先选中了3个发声扬声器，并按照以上描述的过程分别计算得到3个发声扬声器的输出增益，对于其他未被选中的扬声器，则不发出与该声音 对象相关的音频数据，由此，可以将这些扬声器的输出增益设置为等于0。接着，可以将声音对象的音频数据分别与32个扬声器的输出增益相乘，以得到其各自的音频分量，并利用扬声器进行播放。音频数据与输出增益分别相乘的过程示出为以下公式(3)：
在公式(3)中，Audio1表示声音对象的音频数据，增益Gain1_1至增益Gain1_32分别表示显示屏幕中的32个扬声器的输出增益，其中，只有选中的发声扬声器的输出增益具有具体的数值，而其他扬声器的输出增益为0。经过以上公式(3)的乘法过程，将得到分别对应于32个扬声器的音频分量以用于播放。
根据本公开的一些实施例，在将音频数据分别与M个扬声器的输出增益相乘之前，还可以将声音对象的音频数据延迟预定时间间隔，并将延迟后的音频数据与M个扬声器的输出增益相乘。在实际应用中，声音对象的声像坐标以及音频数据是同步获取的，而按照以上步骤S102-S103计算输出增益的过程中产生一定的时间延迟，由此，可以将同步接收的音频数据延迟一定的时间间隔，以避免不同步的现象。
图5示出了根据本公开一些实施例的音频控制方法的实现过程示意图，以下将结合图5对用于实现音画合一的音频控制方法的整体流程进行描述。
在根据本公开的方法中，针对声音对象的信息进行处理，声音对象的信息分为音频数据(Audio)和位置信息。例如，可以同步获得位置信息和音频数据Audio，例如，可以将根据本公开实施例的音频控制方法实现在音频控制电路中，该音频控制将同时接收针对某一声音对象的音频数据和位置信息。对于位置信息，可以表示为声音对象相对于显示屏幕的声像坐标。
如图5所示，接收的位置信息首先进入声像坐标模块，进行坐标识别和配置。为了节省功耗，位置信息一般不会和音频数据Audio保持同样的频率，作为示例，音频数据Audio一般为48KHz，位置信息根据实际的视频场景输 入至音频控制电路，如果声音对象的位置一直保持不动，则可以仅输入一个位置信息(例如声像坐标)，后续不再进行更新，一直等到该声音对象的位置将发生变化时与之对应的位置信息才会进行更新，即输入新的声像坐标。
根据本公开的一些实施例，为了适应位置信息的以上变化，声像坐标模块可以首先检测音频数据Audio的采样频率(Fs)，然后判断音频数据Audio在输入时是否同步输入有声像坐标，如果没有输入新的声像坐标，则可以默认选择位于屏幕中心的一个或多个扬声器进行发声。例如，对于没有与之对应的声音对象的背景声音，则可以直接选择屏幕中心处的2个扬声器播放音频数据而无需进行以上描述的用于实现音画合一的音频控制算法。直到检测到声像坐标，声像坐标模块可以将接收的声像坐标传给后续的距离比较过程，并在缓存器buffer中存储当前接收的声像坐标。在接收到下一帧音频数据Audio之后，如果同时接收到新的声像坐标，则将新声像坐标传给距离比较模块，同时刷新缓存器Buffer中存储的坐标，如果没有接收到新的声像坐标，则将缓存器Buffer中存储的声像坐标传给后端的距离比较模块。
距离比较模块在收到声像坐标后，可以与提前预存的32个扬声器坐标分别进行距离计算，得到32个距离，然后进行比较，选择距离最小的3个扬声器作为发声扬声器。此外，如果两个距离相同，则任选其一。接着，基于选中的3个发声扬声器的扬声器坐标和声像坐标来确定分别确定发声扬声器的输出增益，并将其余29个扬声器的输出增益置为零。接着，可以基于32个扬声器的输出增益得到增益矩阵，其中包括针对每个扬声器的输出增益。
对于接收的音频数据，可以首先进行延时处理，以抵消以上增益计算的时间消耗，并进入混合模块(Mixture)进行处理以得到32个音频分量Audio1_1～Audio1_32，计算得到音频分量的过程可以参考以上公式(3)。
以上针对一个声音对象的情形描述了根据本公开实施例的音频控制方法的实现过程，可以理解的是，根据本公开实施例的音频控制方法也能够适用于多个声音对象的场景，即，根据每个声音对象的声像坐标以及音频数据分别进行以上描述的步骤S101-S104，从而针对不同的声音对象进行音频播放，在此不再一一描述。
根据本公开的一些实施例，获取声音对象相对于显示屏幕的声像坐标包括：制作包括该声音对象的视频数据，其中控制声音对象进行移动，其中，显 示屏幕用于输出视频数据；以及记录声音对象的移动轨迹以得到声像坐标。
在一些实现方式中，可以基于编程软件来获得包括声音对象的视频数据，并且在制作过程中记录该声音对象的音频数据以及声像坐标，以适用于根据本公开一些实施例提供的音频控制方法。
图6示出了生成声像坐标的实现过程示意图。在图6的实现方式中，通过编程软件来实现根据本公开实施例的声画合一音频控制方案。首先，利用诸如基于python或者matlab等的编程软件平台，可以实现实时调用所适用的显示屏幕的声卡。此外，还可以利用编程软件进行图形用户界面(Graphical User Interface,GUI)设计，用于实现操作界面，以生成可视化的声像数据。
首先，可以在设计好的GUI界面中绘制扬声器的布局，并获得诸如32个扬声器的坐标，此32个扬声器坐标将用于发声扬声器的选择。接着，可以在布置有扬声器的画面中插入声音对象，诸如图6中示出的直升机。进一步地，通过设计的GUI面板可以通过鼠标控制声音对象的移动。作为示例，可以由鼠标拖动声音对象来进行移动控制，其中，可以获取鼠标移动的位置轨迹并基于此得到声像坐标。作为另一示例，也可以在GUI面板中设计一些按钮，用于控制声音对象的运动，例如，可以设置分别向上下左右4个方向移动的按钮，通过点击按钮来控制声音对象进行运动，其中，按钮的移动距离可以等预先设定的，即，点击一次按钮运动预设距离。通过在GUI面板中进行设计开发，可以最终获得包括声音对象的视频数据，用于在显示屏幕中进行播放，并且，该声音对象显示过程中的声像坐标是已知的。此外，针对该视频数据中的声音对象还配置有对应的音频数据，例如在图6所示的实现方式中，音频数据可以是直升机发出的声音。
利用如图6所示的过程，能够制作出包括声音对象的视频数据，其中的声音对象在播放过程中进行移动，在播放该视频画面的过程中，利用根据本公开一些实施例提供的音频控制方法能够控制诸如图2所示的布置有多个扬声器的显示屏幕根据声音对象移动轨迹播放音频数据，从而使得播放音频数据的扬声器及其输出增益是根据声音对象的位置坐标进行改变，实时地实现音画合一的视听效果，增强大屏显示场景的视听感受，这有利于超大显示屏幕等产品的应用和发展。
图7示出了根据本公开一些实施例的音频控制方法的硬件实现流程。如 图7所示，首先由音频控制模块获取声像数据，该声像数据包括与声音对象对应的音频数据以及位置坐标。音频控制模块可以是指能够实现根据本公开实施例的音频控制方法的控制电路，其能够基于接收的声像数据来进行以上描述的步骤S101-S104，并得到诸如以上示出的对应于32个扬声器的音频分量Audio1_1至Audio1_32，在这32个音频分量中，只有选中的发声扬声器的输出增益是有效数据，而其他扬声器的输出增益例如可以为0。此外，可以理解的是，待输出的音频分量是与接收的声音对象的位置数据是同步的，即，一个声像坐标对应计算得到一组输出增益，在没有更新声像坐标的情形下，表示声音对象并未移动，则发声扬声器以及对应的输出增益是共享的。
对于经过音频控制得到的音频分量，将进入多声道声卡进行播放，具体的，多声道声卡可以连接有诸如32个声音标准单元，声音标准单元与显示屏幕中的屏幕发声器件相对应。例如，每个声音标准单元可以包括音频接收格式转换单元、数模转换器(DAC)和功放板等结构，在此不作限制。
相比于以上结合图6描述的通过编程软件制作的视频数据，作为另一种实现方法，根据本公开实施例的音频控制方法可以适用于现有的音视频文件。例如，可以首先获取音视频文件中的声音对象文件，每个声音对象单独读取。然后，利用根据本公开实施例的音频控制方法对声音对象的声像坐标文件以及音频数据进行音频控制。此外，在进行处理之前，还可以对声像坐标进行归一化处理，以与当前的显示屏幕的坐标进行适配。可以理解的是，在播放视频画面的过程中，由于音频需要进行音频控制处理，会有一定的时间延迟，可以对视频画面进行一定的延迟处理以与音频数据的播放同步。
作为一种实现方法，根据本公开实施例的音频控制方法还能够配置用于构建播放器软件。作为示例，可以开发一款具有32个声道的播放器软件。图8示出了播放器架构的示意图，其中，可以选择播放声音对象、声道声音和背景声音。
如图8所示，背景声音以及声道声音并不需要进行用于实现声画合一的音频控制方法的处理，由此能够直接地送入加法器，以用于实现声卡调用，例如调用所有的声卡或者仅调用对应于屏幕中心的一个或几个声卡，在此不作限制。相比较地，声音对象的音频数据以及声像坐标需要进行音频控制处理。在图8的示例中，示意性地示出了包括多个声音对象的视频数据的处理过程， 其中，对于不同的声音对象，依据与其对应的声像坐标以及音频数据进行各自地音频控制过程，例如，选择最近的3个发声扬声器，计算初始增益和声音衰减系数，以及得到最终的输出增益。然后，需要将所有需要播放的音频数据经过加法器进行处理，得到最终需要进行播放的、对应于32个声道的音频信号，以调用对应的声卡进行音频播放。
作为一种实现方法，根据本公开实施例的音频控制方法还能够适用于娱乐产品，例如，游戏场景播放等。在游戏场景中，存在多种声音对象，比如分别具有爆破声、提示声、场景特效音等等对象，这些声音对象在游戏设计过程中具有对应的位置坐标。
图9示出了根据本公开的一些实施例的音频控制方法的应用流程图，其中，图9左侧示出了原有的游戏音效播放场景中的过程，用户在游戏过程中可以触发该声音对象的音效，例如点击特定的对象获得补给奖品等。在确定该声音对象被触发的情况下，可以调用该声音对象的音频数据，并进行播放，例如，播放奖励提示音等。相比较地，图9右侧示出了应用根据本公开实施例提供的音频控制方法的流程图。如图9右侧流程图所示，首先，确定触发声音对象的音效，然后可以在获取该声音对象的音频数据的同时调用该声音对象的声像坐标，该声像坐标在设计过程中是预先设计好的，即，是已知数据。接着，可以应用根据本公开一些实施例的音频控制方法，基于音频数据以及声像坐标来首先确定需要播放该音频数据的3个发声扬声器，然后再计算每个发声扬声器的输出增益，并依据计算得到的输出增益来播放该音频数据，从而增强视频音效，提高大屏幕游戏场景的用户体验。
作为一种实现方法，根据本公开实施例的音频控制方法还能够应用于后端集成电路(Integrated Circuit,IC)以实现声像实时驱动控制。图10示出了应用根据本公开实施例的音频控制方法的驱动电路的示意图。具体的，可以将根据本公开实施例的音频控制方法实现为专用的集成电路模块，以显示屏幕的显示过程中控制音频播放，以实现音画合一的效果。
如图10所示，可以采用诸如个人计算机(PC)或者专门的音频播放设备来控制声卡(或者虚拟声卡)，并通过交换机将音频数据传输给标准单元箱体以及音频处理单元。
具体的，标准单元箱体例如可以包括功放板和扬声器。例如，标准单元箱 体的个数可以是32个。音频接口可以选用以太网接口，因为其他音频数字接口比如Inter-IC sound(IIS)协议等无法实现长距离传输，而且传输速率低，无法实现多通道数据的实时传输，因此优选采用选择以太网接口和网线进行音频数据传输。播放的声音数据可以是对应于声音对象的音频数据，也可以是声道数据。声音数据的数据格式如图11所示，其可以包括声道数据通道以及声像数据通道，如果是声道数据就意味着声音是提前处理好的或者是不需要实时进行音频控制的数据，即，不存在对应于的声像坐标(pos)，例如可以将声道数据的坐标设置为0。如果是声像数据，则意味着需要进行实时的音频控制，即，选择发声扬声器以及确定输出增益。例如，在游戏场景中，此时需要同步发送指示声像坐标的pos数据。
此外，考虑到pos数据的频率一般为60Hz或者120Hz，而音频数据一般为48KHz，所以并不是每一帧的音频数据包都配置一个pos数据包，需要800或者400帧音频配置一帧pos数据包，作为示例，按照400来进行配置，这样能够使得声音数据的传输速度更快，节省资源。关于通道选择，如图11所示，1-32声道为常规的声道数据，33-64声道为可选择声道，可以传输声道数据也可以传输声像数据，声道数据和声像数据格式相同，例如，都可以是32bit数据，区分声道数据和声像数据可以通过设置起始标志位来实现。作为示例，如果传输声道数据，那么首先传送数值均为0的32bit数据作为标志位，如果传输声像数据，首先传送数值均为1的32bit数据作为标志位。
继续参考图10，声音数据传送给后端后分为两种情形，声道数据可以直接通过1-32声道进行传输，直接传输给各个标准单元。如图10，每个标准单元中例如包含一个功放板和两个屏幕发声器件，功放板中包含网络音频模块和DSP模块还有功放模块，网络音频模块主要用于接收前端传输的声道数据，解析后通过IIS或者其他数字音频协议传输给后端，DSP模块在接收到数据后例如可以进行均衡处理(EQ)，然后转换为模拟信号输出给屏幕发声器件。
如果接收的是声像数据，可以传输至33-64声道中，每个声音对象可以占用一个声道。这32个声音对象的声道33-64可以输出到音频处理单元中，并在此音频处理单元中实现根据本公开一些实施例提供的音频控制方法。
具体的，参考图10，音频处理单元可以包括网络音频模块和音频控制单元。例如，33-64声道的数据经由网线传输之后，首先被网络音频模块解析出 来并进行数据分离，区分为音频数据和声像坐标pos。网络音频模块中的数据分离模块如图12所示。在接收声道数据之后，网络音频RX模块直接将接收的数据转换为脉冲编码调制PCM格式，PCM数据进入数据分离单元。
如上所描述的，pos数据的频率一般为60Hz或者120Hz，而音频数据一般为48KHz，所以并不是每一帧的音频数据包都配置一个pos数据包，需要800或者400帧音频配置一帧pos数据包，作为示例，以400帧音频配置一帧pos数据包进行配置。在这种情形下，在数据分离单元中，将受到9比特计数器的控制，计数器计数到0-399时将位置数据传世至pos寄存器，其他时刻则将音频数据Audio输出给后端。设置pos寄存器是因为一般pos数据量较少，后端需要得到和音频数据相同数目的pos数据包，由此存在pos寄存器中，使得每帧音频数据Audio都在pos寄存器中获取一个对应的pos数据。
音频数据声像坐标pos分别进入图13中的音频控制单元中，其中，音频数据可以直接进混合模块(Mixture)，声像坐标pos将首先进行坐标格式转换。作为示例，前16bit是横向坐标x，后16bit是纵向坐标y，解析出x，y坐标后将存储在寄存器中的32个扬声器坐标与此x，y坐标进行距离计算，选出距离最近的3个扬声器作为发声扬声器。接着，将这3个发声扬声器和声像坐标pos一起输入至增益计算模块，利用结合根据本公开实施例描述的上述增益计算方法来计算出这3个发声扬声器的输出增益Gain，并进入混合模块Mixture与音频数据进行处理。
图14A示出了混合模块Mixture的示意图。如图14A所示，混合模块Mixture接收音频数据以及输出增益。接着，由先入先出FIFO模块存储音频数据，这是由于输出增益的计算消耗了一定的计算时间，两者之间会有时间延迟。为了音频数据与输出增益同步，可以先暂存一下音频数据，然后两者(Audio和Gain)进行乘积处理，具体乘积过程可以参考以上公式(3)，其中，每个音频数据都与包括32个输出增益的增益矩阵进行相乘，得到32个音频分量。对应于各个声道的声音对象的处理过程类似，这样每个声音对象都能生成32个音频分量，为了同时进行播放，可以对各个声音对象的音频分量进行声道合并。图14B示出了声道合并的示意图，其中，对于声音对象的音频分量Audio_1至Audio_32对应的相同声道数据进入同一个加法器，加法器将每个声音对象对应的每个分量进行相加，加法器输出的为进行播放的数据， 然后，可以将所有数据通传输给1-32声道进行播放。
以上结合多种实现方式，对根据本公开实施例提供的音频控制方法进行了详细描述，可以理解的是，该音频控制方法还可以应用于其他的场景，在此不再一一描述。
利用根据本公开一些实施例的音频控制方法，能够根据声音对象的声像坐标以及多个扬声器的坐标来准确的确定发声扬声器的位置，并且进一步地，还能够根据观看者的位置、声音衰减系数来对确定的发声扬声器的增益进行调整，从而提高大屏幕的声画合一的视听效果，更能实现针对声音对象的环绕立体声效果，有助于提升大屏用户的观看体验。
根据本公开的另一方面，还提供了一种音频控制装置。图15示出了根据本公开实施例的音频控制装置的示意性框图。根据本公开实施例的音频控制装置可以适用于配置有M个扬声器的显示屏幕，其中，M为大于等于2的整数。显示屏幕中扬声器的布局可以参考以上图2。
如图15所示，该音频控制装置1000可以包括声像坐标单元1010、坐标比较单元1020、增益计算单元1030以及输出单元1040。
根据本公开的一些实施例，声像坐标单元1010可以配置成获取声音对象相对于显示屏幕的声像坐标；坐标比较单元1020可以配置成根据声像坐标以及M个扬声器相对于显示屏幕的位置坐标，从M个扬声器中确定N个扬声器作为发声扬声器，其中，N为小于等于M的整数；增益计算单元1030可以配置成根据N个发声扬声器与显示屏幕的观看者之间的距离以及声音衰减系数来分别确定N个发声扬声器的输出增益；以及输出单元1040可以配置成根据声音对象的音频数据以及N个发声扬声器的输出增益来计算得到声音对象在显示屏幕中的输出音频数据，并控制M个扬声器来播放该输出音频数据。
根据本公开的一些实施例，坐标比较单元1020从M个扬声器中确定N个扬声器作为发声扬声器包括：分别计算M个扬声器的位置坐标与声像坐标之间的距离，并将距离最近的3个扬声器确定为发声扬声器，其中，N＝3。
根据本公开的一些实施例，增益计算单元1030根据N个发声扬声器与显示屏幕的观看者之间的距离以及声音衰减系数来分别确定N个发声扬声器的输出增益包括：获取观看者指向N个发声扬声器的N个矢量；基于N个矢量的矢量模长之间的差值来更新N个矢量的矢量模长，并利用矢量幅度平移算 法基于更新后的N个矢量来计算得到N个初始增益；基于N个矢量的矢量模长分别得到N个声音衰减系数，基于N个声音衰减系数与N个初始增益的乘积得到N个输出增益。
根据本公开的一些实施例，增益计算单元1030基于N个矢量的矢量模长之间的差值来更新N个矢量的矢量模长，并利用矢量幅度平移算法基于更新后的N个矢量来计算得到N个初始增益包括：确定N个发声扬声器的N个矢量中矢量模长最大的发声扬声器，其中，将矢量模长最大的发声扬声器表示为第一发声扬声器，将第一发声扬声器的矢量模长表示为第一矢量模长，将N个发声扬声器中除第一发声扬声器之外的发声扬声器表示为第二发声扬声器；基于第二发声扬声器的矢量方向以及第一矢量模长获得延长后的矢量；以及基于第一发声扬声器的矢量以及第二发声扬声器延长后的矢量根据矢量幅度平移算法来计算得到N个初始增益。
根据本公开的一些实施例，增益计算单元1030基于N个矢量的矢量模长来分别得到N个声音衰减系数包括：对于第二发声扬声器中的每一个，计算第二发声扬声器的矢量模长与第一矢量模长之间的差值r，基于差值r按照k＝20log(10,r)计算得到声音衰减系数k；以及将第一发声扬声器的声音衰减系数设置为0。具体的，增益计算单元计算发声扬声器的输出增益的过程可以参考以上结合图3-4的描述，在此不再重复。
根据本公开的一些实施例，M个扬声器以矩阵形式等间隔的布置在显示屏幕中。
根据本公开的一些实施例，输出单元1040根据声音对象的音频数据以及N个发声扬声器的输出增益来计算得到声音对象在显示屏幕中的输出音频数据，并控制M个扬声器来播放该输出音频数据包括：将M个扬声器中除N个发声扬声器之外的扬声器的输出增益设置为0；以及将音频数据分别与M个扬声器的输出增益相乘，得到包括M个音频分量的输出音频数据，并控制M个扬声器分别输出与之对应的M个音频分量之一。
根据本公开的一些实施例，输出单元1040将音频数据分别与M个扬声器的输出增益相乘包括：将音频数据延迟预定时间间隔，并将延迟后的音频数据与M个扬声器的输出增益相乘。
根据本公开的一些实施例，声像坐标单元1010获取声音对象相对于显示 屏幕的声像坐标包括：制作包括声音对象的视频数据，其中控制声音对象进行移动，其中，显示屏幕用于输出视频数据；以及记录声音对象的移动轨迹以得到声像坐标。具体的，声像坐标单元1010可以实现以上结合图6描述的步骤，并获得声像坐标以及对应地音视频数据，以应用于如图2所示的显示屏幕中。
作为示例，上述音频控制装置可以实现为以上如图7或者如图10所示电路结构。利用根据本公开一些实施例的音频控制装置，能够根据声音对象的声像坐标以及多个扬声器的坐标来准确的确定发声扬声器的位置，并且进一步地，还能够根据观看者的位置、声音衰减系数来对确定的发声扬声器的增益进行调整，从而提高大屏幕的声画合一的视听效果，更能实现针对声音对象的环绕立体声效果，有助于提升大屏用户的观看体验。
根据本公开的又一方面，还提供了一种基于多声道拼接屏幕发声系统的驱动电路。图16示出了根据本公开的一些实施例的驱动电路的示意性框图，驱动电路2000可以包括多声道声卡2010、音频控制电路2020以及声音标准单元1030。
根据本公开的一些实施例，多声道声卡2010可以配置成接收声音数据，其中，声音数据包括声道数据和声像数据，其中，声像数据包括声音对象的音频数据以及坐标。音频控制电路2020可以配置成按照如上所描述的音频控制方法来得到声音对象在显示屏幕中的输出音频数据。声音标准单元2030可以包括功放板和屏幕发声器件，该声音标准单元可以配置成输出声道数据以及输出音频数据。关于驱动电路的具体实现结构可以参考以上关于图10的描述，在此不再重复。
作为一种实现方式，图17示出了根据本公开一些实施例的硬件设备的示意性框图。如图17所示，硬件设备3000可以作为显示器的驱动电路，具体的，其可以接受用于进行显示的视频数据以及声像数据，其中，声像数据可以包括直接进行播放的声道数据，或者还可以包括声像数据，该声像数据是指对应于声音对象的数据，声音对象的个数可以是一个或者多个，在此不作限制。声像数据中既包括音频数据还可以声音对象的位置坐标。硬件设备通过实现根据本公开实施例提供的音频控制算法来对声像数据进行处理。硬件设备还可以利用视频处理算法对视频数据进行处理，例如进行解码等过程。接着，硬件设备可以将处理后的得到数据传输至显示器进行视频显示以及音频播放， 以实现音画合一的视听效果。
根据本公开的又一方面，还提供了一种非暂时性计算机可读存储介质，其上存储有指令，指令在被处理器执行时，使得处理器执行如上所述的音频控制方法。
如图18所示，计算机可读存储介质4000上存储有计算机可读指令4010。当计算机可读指令4010由处理器运行时，可以执行参照以上附图描述的音频控制方法。计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。例如，计算机可读存储介质4000可以连接于诸如计算机等的计算设备，接着，在计算设备运行计算机存储介质4000上存储的计算机可读指令4010的情况下，可以进行如上所描述的根据本公开实施例提供的音频控制方法。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
此外，虽然本公开对根据本公开的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。单元仅是说明性的，并且系统和方法的不同方面可以使用不同单元。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。

Claims (20)

  1. 一种音频控制方法，其特征在于，所述方法适用于配置有M个扬声器的显示屏幕，其中，M为大于等于2的整数，所述方法包括：
    获取声音对象相对于所述显示屏幕的声像坐标；
    根据所述声像坐标以及所述M个扬声器相对于所述显示屏幕的位置坐标，从所述M个扬声器中确定N个扬声器作为发声扬声器，其中，N为小于等于M的整数；
    根据N个发声扬声器与所述显示屏幕的观看者之间的距离以及声音衰减系数来分别确定所述N个发声扬声器的输出增益；以及
    根据所述声音对象的音频数据以及所述N个发声扬声器的输出增益来计算得到所述声音对象在所述显示屏幕中的输出音频数据，并控制所述M个扬声器来播放所述输出音频数据。
  2. 根据权利要求1所述的方法，其特征在于，所述从所述M个扬声器中确定N个扬声器作为发声扬声器包括：
    分别计算所述M个扬声器的位置坐标与所述声像坐标之间的距离，并将距离最近的3个扬声器确定为发声扬声器，其中，N＝3。
  3. 根据权利要求1所述的方法，其特征在于，所述根据N个发声扬声器与所述显示屏幕的观看者之间的距离以及声音衰减系数来分别确定所述N个发声扬声器的输出增益包括：
    获取所述观看者指向所述N个发声扬声器的N个矢量；
    基于所述N个矢量的矢量模长之间的差值来更新所述N个矢量的矢量模长，并利用矢量幅度平移算法基于更新后的N个矢量来计算得到N个初始增益；以及
    基于所述N个矢量的矢量模长分别得到N个声音衰减系数，基于所述N个声音衰减系数与所述N个初始增益的乘积得到N个输出增益。
  4. 根据权利要求3所述的方法，其特征在于，所述基于所述N个矢量的 矢量模长之间的差值来更新所述N个矢量的矢量模长，并利用矢量幅度平移算法基于更新后的N个矢量来计算得到N个初始增益包括：
    确定所述N个发声扬声器的所述N个矢量中矢量模长最大的发声扬声器，其中，将矢量模长最大的发声扬声器表示为第一发声扬声器，将所述第一发声扬声器的矢量模长表示为第一矢量模长，将所述N个发声扬声器中除所述第一发声扬声器之外的发声扬声器表示为第二发声扬声器；
    基于所述第二发声扬声器的矢量方向以及所述第一矢量模长获得延长后的矢量；以及
    基于所述第一发声扬声器的矢量以及所述第二发声扬声器延长后的矢量根据矢量幅度平移算法来计算得到N个初始增益。
  5. 根据权利要求4所述的方法，其特征在于，所述基于所述N个矢量的矢量模长来分别得到N个声音衰减系数包括：
    对于所述第二发声扬声器中的每一个，计算所述第二发声扬声器的矢量模长与所述第一矢量模长之间的差值d，基于所述差值d按照k＝20log(10,d)计算得到声音衰减系数k；以及
    将所述第一发声扬声器的声音衰减系数设置为0。
  6. 根据权利要求1所述的方法，其特征在于，所述M个扬声器以矩阵形式等间隔的布置在所述显示屏幕中。
  7. 根据权利要求1所述的方法，其特征在于，所述根据所述声音对象的音频数据以及所述N个发声扬声器的输出增益来计算得到所述声音对象在所述显示屏幕中的输出音频数据，并控制所述M个扬声器来播放所述输出音频数据包括：
    将所述M个扬声器中除所述N个发声扬声器之外的扬声器的输出增益设置为0；以及
    将所述音频数据分别与所述M个扬声器的输出增益相乘，得到包括M个音频分量的输出音频数据，并控制所述M个扬声器分别输出与之对应的M个音频分量之一。
  8. 根据权利要求7所述的方法，其特征在于，所述将所述音频数据分别与所述M个扬声器的输出增益相乘包括：
    将所述音频数据延迟预定时间间隔，并将延迟后的音频数据与所述M个扬声器的输出增益相乘。
  9. 根据权利要求1所述的方法，其特征在于，所述获取声音对象相对于所述显示屏幕的声像坐标包括：
    制作包括所述声音对象的视频数据，其中控制所述声音对象进行移动，其中，所述显示屏幕用于输出所述视频数据；以及
    记录所述声音对象的移动轨迹以得到所述声像坐标。
  10. 一种音频控制装置，其特征在于，所述装置适用于配置有M个扬声器的显示屏幕，其中，M为大于等于2的整数，所述装置包括：
    声像坐标单元，配置成获取声音对象相对于所述显示屏幕的声像坐标；
    坐标比较单元，配置成根据所述声像坐标以及所述M个扬声器相对于所述显示屏幕的位置坐标，从所述M个扬声器中确定N个扬声器作为发声扬声器，其中，N为小于等于M的整数；
    增益计算单元，配置成根据N个发声扬声器与所述显示屏幕的观看者之间的距离以及声音衰减系数来分别确定所述N个发声扬声器的输出增益；以及
    输出单元，配置成根据所述声音对象的音频数据以及所述N个发声扬声器的输出增益来计算得到所述声音对象在所述显示屏幕中的输出音频数据，并控制所述M个扬声器来播放所述输出音频数据。
  11. 根据权利要求10所述的装置，其特征在于，所述坐标比较单元从所述M个扬声器中确定N个扬声器作为发声扬声器包括：
    分别计算所述M个扬声器的位置坐标与所述声像坐标之间的距离，并将距离最近的3个扬声器确定为发声扬声器，其中，N＝3。
  12. 根据权利要求10所述的装置，其特征在于，所述增益计算单元根据 N个发声扬声器与所述显示屏幕的观看者之间的距离以及声音衰减系数来分别确定所述N个发声扬声器的输出增益包括：
    获取所述观看者指向所述N个发声扬声器的N个矢量；
    基于所述N个矢量的矢量模长之间的差值来更新所述N个矢量的矢量模长，并利用矢量幅度平移算法基于更新后的N个矢量来计算得到N个初始增益；以及
    基于所述N个矢量的矢量模长分别得到N个声音衰减系数，基于所述N个声音衰减系数与所述N个初始增益的乘积得到N个输出增益。
  13. 根据权利要求12所述的装置，其特征在于，所述增益计算单元基于所述N个矢量的矢量模长之间的差值来更新所述N个矢量的矢量模长，并利用矢量幅度平移算法基于更新后的N个矢量来计算得到N个初始增益包括：
    确定所述N个发声扬声器的所述N个矢量中矢量模长最大的发声扬声器，其中，将矢量模长最大的发声扬声器表示为第一发声扬声器，将所述第一发声扬声器的矢量模长表示为第一矢量模长，将所述N个发声扬声器中除所述第一发声扬声器之外的发声扬声器表示为第二发声扬声器；
    基于所述第二发声扬声器的矢量方向以及所述第一矢量模长获得延长后的矢量；以及
    基于所述第一发声扬声器的矢量以及所述第二发声扬声器延长后的矢量根据矢量幅度平移算法来计算得到N个初始增益。
  14. 根据权利要求13所述的装置，其特征在于，所述增益计算单元基于所述N个矢量的矢量模长来分别得到N个声音衰减系数包括：
    对于所述第二发声扬声器中的每一个，计算所述第二发声扬声器的矢量模长与所述第一矢量模长之间的差值d，基于所述差值d按照k＝20log(10,d)计算得到声音衰减系数k；以及
    将所述第一发声扬声器的声音衰减系数设置为0。
  15. 根据权利要求10所述的装置，其特征在于，所述M个扬声器以矩阵形式等间隔的布置在所述显示屏幕中。
  16. 根据权利要求10所述的装置，其特征在于，所述输出单元根据所述声音对象的音频数据以及所述N个发声扬声器的输出增益来计算得到所述声音对象在所述显示屏幕中的输出音频数据，并控制所述M个扬声器来播放所述输出音频数据包括：
    将所述M个扬声器中除所述N个发声扬声器之外的扬声器的输出增益设置为0；以及
    将所述音频数据分别与所述M个扬声器的输出增益相乘，得到包括M个音频分量的输出音频数据，并控制所述M个扬声器分别输出与之对应的M个音频分量之一。
  17. 根据权利要求16所述的装置，其特征在于，所述输出单元将所述音频数据分别与所述M个扬声器的输出增益相乘包括：
    将所述音频数据延迟预定时间间隔，并将延迟后的音频数据与所述M个扬声器的输出增益相乘。
  18. 根据权利要求10所述的装置，其特征在于，所述声像坐标单元获取声音对象相对于所述显示屏幕的声像坐标包括：
    制作包括所述声音对象的视频数据，其中控制所述声音对象进行移动，其中，所述显示屏幕用于输出所述视频数据；以及
    记录所述声音对象的移动轨迹以得到所述声像坐标。
  19. 一种基于多声道拼接屏幕发声系统的驱动电路，其特征在于，所述驱动电路包括：
    多声道声卡，配置成接收声音数据，其中，所述声音数据包括声道数据和声像数据，其中，所述声像数据包括声音对象的音频数据以及坐标；
    音频控制电路，配置成按照如权利要求1-9中任一项所述的音频控制方法来得到所述声音对象在显示屏幕中的输出音频数据；以及
    声音标准单元，其中，所述声音标准单元包括功放板和屏幕发声器件，所述声音标准单元配置成输出所述声道数据以及所述输出音频数据。
  20. 一种非暂时性计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如权利要求1-9中任一项所述的音频控制方法。
CN202280001637.5A 2022-05-31 2022-05-31 音频控制方法、控制装置、驱动电路以及可读存储介质 Pending CN117501235A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2022/096380 WO2023230886A1 (zh) 2022-05-31 2022-05-31 音频控制方法、控制装置、驱动电路以及可读存储介质

Publications (1)

Publication Number Publication Date
CN117501235A true CN117501235A (zh) 2024-02-02

Family

ID=89026654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280001637.5A Pending CN117501235A (zh) 2022-05-31 2022-05-31 音频控制方法、控制装置、驱动电路以及可读存储介质

Country Status (3)

Country Link
US (1) US20240298132A1 (zh)
CN (1) CN117501235A (zh)
WO (1) WO2023230886A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036789B (zh) * 2014-01-03 2018-02-02 北京智谷睿拓技术服务有限公司 多媒体处理方法及多媒体装置
CN107656718A (zh) * 2017-08-02 2018-02-02 宇龙计算机通信科技(深圳)有限公司 一种音频信号定向传播方法、装置、终端和存储介质
WO2020031453A1 (ja) * 2018-08-10 2020-02-13 ソニー株式会社 情報処理装置及び情報処理方法、並びに映像音声出力システム
CN109194999B (zh) * 2018-09-07 2021-07-09 深圳创维－Rgb电子有限公司 一种实现声音与图像同位的方法、装置、设备及介质
US11937069B2 (en) * 2019-01-24 2024-03-19 Sony Corporation Audio system, audio reproduction apparatus, server apparatus, audio reproduction method, and audio reproduction program
CN111641865B (zh) * 2020-05-25 2023-03-24 惠州视维新技术有限公司 音视频流的播放控制方法、电视设备及可读存储介质
CN113810837B (zh) * 2020-06-16 2023-06-06 京东方科技集团股份有限公司 一种显示装置的同步发声控制方法及相关设备

Also Published As

Publication number Publication date
US20240298132A1 (en) 2024-09-05
WO2023230886A1 (zh) 2023-12-07

Similar Documents

Publication Publication Date Title
EP2891335B1 (en) Reflected and direct rendering of upmixed content to individually addressable drivers
KR101777639B1 (ko) 음향 재생을 위한 방법
CN112673649B (zh) 空间音频增强
KR20170106063A (ko) 오디오 신호 처리 방법 및 장치
CN107168518B (zh) 一种用于头戴显示器的同步方法、装置及头戴显示器
CN107241672B (zh) 一种获得空间音频定向向量的方法、装置及设备
JP2013523006A (ja) 立体音響の再生方法及びその装置
JP2007274061A (ja) 音像定位装置およびａｖシステム
CN110636415A (zh) 感知方向的环绕声播放
JP7504140B2 (ja) 音響処理装置および方法、並びにプログラム
US20170094439A1 (en) Information processing method and electronic device
US9820076B2 (en) Information processing method and electronic device
US20170188176A1 (en) Sound object control apparatus and method based on additional image object
WO2018195652A1 (en) System, method and apparatus for co-locating visual images and associated sound
KR20200087130A (ko) 신호 처리 장치 및 방법, 그리고 프로그램
US11930348B2 (en) Computer system for realizing customized being-there in association with audio and method thereof
CN113038343A (zh) 音频输出装置及其控制方法
US11930349B2 (en) Computer system for producing audio content for realizing customized being-there and method thereof
US7092542B2 (en) Cinema audio processing system
KR102561371B1 (ko) 디스플레이장치와, 기록매체
WO2019229300A1 (en) Spatial audio parameters
CN117501235A (zh) 音频控制方法、控制装置、驱动电路以及可读存储介质
KR101543535B1 (ko) 입체 음향 제공 시스템, 장치 및 방법
CN113691927B (zh) 音频信号处理方法及装置
CN113632501B (zh) 信息处理装置和方法、再现装置和方法、以及程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination