CN109417678A - 声场形成装置和方法以及程序 - Google Patents

声场形成装置和方法以及程序 Download PDF

Info

Publication number
CN109417678A
CN109417678A CN201780040469.XA CN201780040469A CN109417678A CN 109417678 A CN109417678 A CN 109417678A CN 201780040469 A CN201780040469 A CN 201780040469A CN 109417678 A CN109417678 A CN 109417678A
Authority
CN
China
Prior art keywords
drive
speaker
loudspeaker
listener
sound field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780040469.XA
Other languages
English (en)
Inventor
前野悠
高桥将文
光藤祐基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109417678A publication Critical patent/CN109417678A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)

Abstract

本技术涉及一种能够通过使用较小计算量来改善波面的再现性的声场形成装置和方法以及程序。一种声场形成装置包括：收听者位置获取部，被配置成获取指示收听者位置的收听者位置信息；驱动扬声器选择部，被配置成根据收听者位置信息在构成扬声器阵列的扬声器中选择用于形成声场的一个或多个扬声器作为驱动扬声器；和驱动信号生成部，被配置成根据驱动扬声器的选择结果驱动驱动扬声器并生成用于形成声场的扬声器驱动信号。本技术可以应用于声场形成装置。

Description

声场形成装置和方法以及程序
技术领域
本技术涉及一种声场形成装置和方法以及程序，特定地，涉及一种能够通过使用较小计算量来改善波面的再现性的声场形成装置和方法以及程序。
背景技术
例如，在空间中存在多个收听者且允许各收听者听到不同声音的情况下，多个收听者各自可以通过使用指向性控制技术来收听不同声音。
使用参量扬声器的方法被称为执行这种指向性控制的方法(例如，参照非专利文献1)。
实际上，在使用参量扬声器的方法中，必须为所提出声音的多个方向准备多个参量扬声器。此外，不能在深度方向上朝向参量扬声器控制声场。另外，不能形成诸如点声源或平面波的特定声场。与普通扬声器相比，从参量扬声器输出的声音的品质不是优选的，因此再现内容受到限制。
相反，通过使用扬声器阵列，指向性的方向或再现声音的数量可以通过信号处理自适应地改变。此外，除了指向性控制之外，可以通过波面合成技术形成点声源或平面波。通过使用声场形成，可以为特定收听者提供特定声场。
【引文列表】
【非专利文献】
【非专利文献1】
Kamakura et al.，“Practical use of the parametric speaker,”AcousticalSociety of Japan Journal,vol.62,p.791-797，2006.
发明内容
技术问题
同时，在使用扬声器阵列的声场形成中，通常使用更多个扬声器，从而提高声场的再现性。
然而，在为多个收听者中的各收听者提供不同声场的情况下，为了允许各收听者听到声音而生成的波面相互干扰以降低波面的再现性。此外，不仅为该收听者再现的声音泄漏并被听到，而且为其他收听者再现的声音泄漏并被听到。此外，在构成扬声器阵列的扬声器数量增加的情况下，卷积处理的计算量随着扬声器数量增加而增加。
本技术鉴于这种情况而提出，且可以通过使用较小计算量来改善波面的再现性。
技术方案
根据本技术的一个方面，一种声场形成装置包括：收听者位置获取部，被配置成获取指示收听者位置的收听者位置信息；驱动扬声器选择部，被配置成根据收听者位置信息在构成扬声器阵列的扬声器中选择用于形成声场的一个或多个扬声器作为驱动扬声器；和驱动信号生成部，被配置成根据驱动扬声器的选择结果驱动驱动扬声器并生成用于形成声场的扬声器驱动信号。
扬声器驱动信号可以是用于通过波面合成形成声场的信号。
驱动信号生成部可以仅就构成扬声器阵列的扬声器的驱动扬声器对滤波器系数和声源信号进行卷积而生成扬声器驱动信号。
声场形成装置还可包括：滤波器系数记录部，被配置成记录构成扬声器阵列的各扬声器的滤波器系数。
驱动扬声器选择部可以选择在平行于扬声器阵列的方向上位于收听者附近的扬声器作为驱动扬声器。
驱动扬声器选择部可以选择在平行于扬声器阵列的方向上位于因形成声场而生成的声源附近的扬声器作为驱动扬声器。
驱动扬声器可以选择部选择驱动扬声器，使得当收听者在距离扬声器阵列越远的位置存在时，驱动扬声器的数量在垂直于扬声器阵列的方向上变得越大。
驱动扬声器选择部选择驱动扬声器，使得在各听者或各收听者组选择驱动扬声器的情况下，当收听者或收听者组的数量越大时，就收听者或收听者组而选择的驱动扬声器的数量变得越小。
驱动扬声器选择部可以根据声场的形成方式选择驱动扬声器。
根据本技术的一个方面，一种声场形成方法或程序包括以下步骤：获取指示收听者位置的收听者位置信息；根据收听者位置信息在构成扬声器阵列的扬声器中选择用于形成声场的一个或多个扬声器作为驱动扬声器；根据驱动扬声器的选择结果驱动驱动扬声器并生成用于形成声场的扬声器驱动信号。
根据本技术的一个方面，获取指示收听者位置的收听者位置信息，根据收听者位置信息在构成扬声器阵列的扬声器中选择用于形成声场的一个或多个扬声器作为驱动扬声器，以及根据驱动扬声器的选择结果驱动驱动扬声器并生成用于形成声场的扬声器驱动信号。
本发明的有益效果如下：
根据本技术的一个方面，可以通过使用较小计算量来改善波面的再现性。
请注意，这里所述的效果不一定受限制，且可以是本公开内所述的任何效果。
附图说明
图1是描述本技术的图；
图2是描述本技术的图；
图3是示出声场形成装置的构成例的图；
图4是描述坐标系的图；
图5是描述驱动扬声器的选择的图；
图6是描述驱动扬声器的选择的图；
图7是描述驱动扬声器的选择的图；
图8是描述驱动扬声器的选择的图；
图9是描述声场形成处理的流程图；
图10是示出计算机的构成例的图。
具体实施方式
下文中，将通过参照附图对应用本技术的实施例进行说明。
<第一实施例>
<关于本技术>
本技术根据收听者的位置、收听者的数量以及声场的形成方式从构成扬声器阵列的扬声器中选择驱动扬声器。可以允许形成的声场减小对其他声场的影响，并且可以允许通过使用较小计算量来改善波面的再现性。
为了形成用于再现允许某个收听者听到的声音的声场，例如，只使用一些扬声器，且构成扬声器阵列的扬声器都不被驱动。在这种情况下，可以减少生成扬声器驱动信号所需的卷积处理的计算量。
此外，即使不使用全部扬声器来形成声场，当使用以足够长度排列的扬声器时，也可以以足够再现性形成声音的波面。即，可以形成实际形成的波面与理想波面之间的误差足够减小的波面。
如图1所示，例如，收听区域中存在收听者LSN11和收听者LSN12。通过使用扬声器阵列SPA11，假设通过波面合成允许各收听者听到不同声音。具体地，假设允许收听者LSN11听到内容A的声音，假设允许收听者LSN12听到内容B的声音。
此时，如箭头Q11所示，例如，假设构成扬声器阵列SPA11的扬声器都被驱动以形成内容A的声音的波面。同时，假设构成扬声器阵列SPA11的扬声器都被驱动以形成内容B的声音的波面。
在这种情况下，例如，即使在收听者LSN11附近的位置中的区域R11中，内容B的声音的波面的振幅也足够大。因此，内容A的声音的波面受到内容B的声音的波面的影响。因此，内容A的声音的波面的再现性降低。具体地，内容A的声音的波面和内容B的声音的波面相互干扰。
在这种情况下，向收听者LSN11再现的内容A的声音被收听者LSN11听到。此外，向收听者LSN12再现的内容B的声音泄漏并被收听者LSN11听到。
同样地，例如，即使在收听者LSN12附近的位置中的区域R12中，内容A的声音的波面的振幅也足够大。因此，内容B的声音的波面受到内容A的声音的波面的影响。因此，内容B的声音的波面的再现性降低。
为了解决上述问题，在本技术中，例如，如箭头Q12所示，从构成扬声器阵列SPA11的扬声器中选择用于形成各内容的声音的波面的扬声器。
本例中，在构成扬声器阵列SPA11的扬声器中，仅排列在图中左侧的五个扬声器被驱动并形成内容A的声音的波面。此外，在构成扬声器阵列SPA11的扬声器中，仅排列在图中右侧的十个扬声器被驱动并形成内容B的声音的波面。
这可以抑制内容A的声音的波面和内容B的声音的波面相互干扰。此外，这可以在形成声场时改善声音的波面的再现性。即，可以减小实际形成的波面和理想波面之间的误差。
当形成内容A和内容B的声音的波面时，使用构成扬声器阵列SPA11的一些扬声器。当包括扬声器的扬声器阵列的阵列长度足够长时，可以以足够再现性形成波面。
在波面合成中，通常，假设扬声器具有单极特性，具体地，声音的波面均匀地散布在所有方向上的全指向性特性。然而，扬声器的实际特性存在误差。特别是，当从收听者观察时，当扬声器更多地位于扬声器阵列的边缘时，与单极特性的分离变得更大，因此在形成的声场中产生误差。通过仅驱动必要的扬声器，可以减小扬声器特性的误差的影响，且可以改善波面的再现性。
另外，与使用构成扬声器阵列SPA11的所有扬声器的情况相比，仅驱动必要的扬声器，从而可以减小卷积处理的计算量。
例如，在驱动构成扬声器阵列SPA11的所有扬声器以生成点声源的情况下，在使用扬声器作为声道的情况下需要(声道数量)×(点声源的位置数量)的滤波器系数。然而，对于上述情况，仅选择性地驱动必要的扬声器，从而可以减少用于计算的滤波器系数的数量。该处理允许减少卷积处理的计算量。
如图2所示，例如，假设通过使用扬声器阵列SPA11执行声场形成以生成预定声源AS11。请注意，图2中与图1中的情况相对应的部分被附上相同附图标记，并将任意地省略其说明。此外，图2中，各位置的对比密度表示形成的声场的声压。
如图2中箭头Q21所示，假设构成扬声器阵列SPA11的扬声器都被驱动并形成再现内容B的声音的声场。在内容B中，声音的声源是声源AS11且声源AS11位于允许听到内容B的声音的收听者LSN12的前方。
在这种情况下，在收听者LSN12的位置中确保足够声压，且收听者LSN12可以以足够音量听到内容B的声音。然而，因为即使在收听者LSN11的位置中声压也足够大，所以即使收听者LSN11也基本上无意地听到内容B的声音。
相反，如箭头Q22所示，假设在构成扬声器阵列SPA11中的扬声器中仅位于图中右侧(具体地，位于收听者LSN12或声源AS1侧)的扬声器被驱动。此外，假设使用包括扬声器的扬声器阵列作为扬声器阵列SPA11’。在这种情况下，应当理解，收听者LSN12以足够声压听到内容B的声音，且在收听者LSN11的位置中声压低，收听者LSN11几乎听不到内容B的声音。
如上所述，在允许多个收听者各自听到不同声音的情况下，在各收听者中从构成扬声器阵列的扬声器中仅选择性地驱动一些扬声器，从而通过使用较小计算量来改善声音的波面的再现性。
<声场形成装置的构成例>
接着，将对上述根据本技术的具体实施例进行说明。
图3是示出应用本技术的声场形成装置的构成例的图。
图3所示的声场形成装置11具有收听者位置获取部21、驱动扬声器选择部22、声学滤波器系数记录部23、声学滤波器部24和扬声器阵列25。
收听者位置获取部21获取指示收听区域中存在的收听者的位置的收听者位置信息，该收听区域是用于形成声场的空间，并把收听者位置信息提供给驱动扬声器选择部22。
驱动扬声器选择部22根据从收听者位置获取部21提供的收听者位置信息以及从外部提供指示声场形成方式的形成方式信息在构成扬声器阵列25的扬声器中选择用于形成声场的扬声器，即驱动扬声器。此外，驱动扬声器选择部22生成指示驱动扬声器的选择结果的驱动扬声器信息并把驱动扬声器信息提供给声学滤波器系数记录部23。下文中，被驱动扬声器选择部22选择用于形成声场的扬声器也被称为驱动扬声器。
这里，在各收听者或包括多个收听者的各组(收听者组)中从构成扬声器阵列25的扬声器中选择用于形成允许收听者或组听到的声音的波面(即，所提出的声场)的一个或多个扬声器作为驱动扬声器。此外，生成指示选定驱动扬声器的信息作为驱动扬声器信息。
请注意，下文中，为了便于说明，假设在各收听者中选择驱动扬声器并继续其说明。
声学滤波器系数记录部23预先记录用于以声场的各形成方式形成预定声场的声学滤波器的滤波器系数。
声学滤波器系数记录部23根据从外部提供的形成方式信息以及从驱动扬声器选择部22提供的驱动扬声器信息从预先记录的多个滤波器系数中选择用于形成声场的滤波器系数并把该滤波器系数提供给声学滤波器部24。
待再现声音的声源信号被提供给声学滤波器部24。具体地，在例如允许收听区域中的各收听者听到不同内容的声音的情况下，用于再现内容的声音的声源信号被提供给各内容中的声学滤波器部24。此外，在例如允许多个收听者中的各收听者在不同时间听到相同内容的声音的情况下，用于再现一个内容的声音的的声源信号被提供给声学滤波器部24。
在各驱动扬声器中，声学滤波器部24对从外部提供的声源信号和从声学滤波器系数记录部23提供的滤波器系数进行卷积，生成用于形成期望声场的扬声器驱动信号，并把扬声器驱动信号提供给扬声器阵列25。具体地，根据驱动扬声器选择部22的驱动扬声器的选择结果，声学滤波器部24用作执行声源信号和滤波器系数的卷积处理的驱动信号生成部并只在构成扬声器阵列25的扬声器的驱动扬声器中生成扬声器驱动信号。
如上所述生成的扬声器驱动信号例如是用于驱动驱动扬声器并通过波面合成形成期望声场的信号。
扬声器阵列25的示例包括多个扬声器线性排列的线性扬声器阵列、多个扬声器以平面方式排列的平面扬声器阵列、多个扬声器环状排列的环状扬声器阵列、多个扬声器球状排列的球状扬声器阵列等。请注意，当通过排列多个扬声器来获得扬声器阵列25时，可以接受任何扬声器阵列。
扬声器阵列25根据从声学滤波器部24提供的扬声器驱动信号通过再现声音来形成声场。具体地，更特定地，扬声器阵列25的各驱动扬声器根据所提供的扬声器驱动信号来输出声音，从而例如通过波面合成来形成声场。
这里，将参照图4对以下说明中使用的坐标系进行说明。请注意，图4中与图3中的情况相对应的部分被附上相同附图标记，并将任意地省略其说明。
即，在以下说明中，扬声器阵列25的中心位置被定义为三维正交坐标系的原点O。
此外，三维正交坐标系的三个轴被定义为穿过原点O且彼此正交的x轴、y轴和z轴。这里，x轴的方向(即x方向)被定义为构成扬声器阵列25的扬声器排列的方向。此外，y轴的方向(即y方向)被定义为垂直于x方向且平行于从扬声器阵列25输出声波的方向的方向。此外，垂直于x方向和y方向的方向被定义为z轴的方向，即z方向。特定地，从扬声器阵列25输出声波的方向被定义为y方向的正方向。
下文中，假设空间中的位置(具体地，指示空间中的位置的向量)通过使用x坐标、y坐标和z坐标也被写成为(x，y，z)。此外，假设由坐标(x，y，z)表示的位置也被称为位置v。
此外，扬声器阵列25可以是诸如线性扬声器阵列、平面扬声器阵列、环状扬声器阵列、球状扬声器阵列等的任何扬声器阵列。下文中，假设扬声器阵列25是线性扬声器阵列并继续其说明。
(收听者位置获取部)
接着，将对图3所示的声场形成装置11的各部进行详细说明。首先，将对收听者位置获取部21进行说明。
收听者位置获取部21例如在收听区域中的各收听者中获取指示收听者位置的信息作为收听者位置信息。
例如，收听者位置获取部21可以获取从外部装置提供或由用户等输入指示收听者位置的信息作为收听者位置信息。
此外，例如，收听者位置获取部21检测收听者数量和收听者位置并为各收听者生成指示收听者位置的信息。通过该处理，收听者位置获取部21可以获取该信息作为收听者位置信息。
在这种情况下，收听者位置获取部21例如由对作为被摄体的收听者进行拍摄的照相机、布置在收听者所在空间的地板部分中的压感传感器、通过超声波检测与收听者相距距离的距离传感器等构成。在这种情况下，收听者位置获取部21通过使用照相机、压感传感器、距离传感器等识别收听者并根据其识别结果计算收听者位置。
具体地，例如，收听者位置获取部21根据被照相机拍摄到的图像使用词典通过物体识别等检测收听者并根据其检测结果生成指示各收听者的位置的收听者位置信息。
请注意，在多个收听者之间的距离比预定恒定距离更短的情况下，收听者可以作为单个组进行处理。在这种情况下，属于该组的典型收听者的位置、属于该组的各个收听者的位置的平均值等在把该组称作单个收听者时被设定为收听者位置信息。
(驱动扬声器选择部)
驱动扬声器选择部根据收听者位置信息和形成方式信息从构成扬声器阵列25的扬声器中选择驱动扬声器。
这里，形成方式信息是指示用于形成声场的形成方式的信息。更特定地，形成方式信息例如是包括指示用于形成声音的波面的波面形成方法的信息的信息，具体地，一种声场的形成方法、一种用于形成点声源或平面波的声场等。
驱动扬声器选择部22根据收听者位置信息和形成方式信息来选择驱动扬声器。此外，驱动扬声器的选择例如以下面方式形成。
具体地，如图5所示，例如，假设收听者LSN21和收听者LSN22在收听区域中存在于扬声器阵列25的前方。请注意，图5中与图3中的情况相对应的部分被附上相同附图标记，并将任意地省略其说明。
本例中，可以通过使用收听者位置信息来指定收听者LSN21和收听者LSN22的位置。在这种情况下，就收听者LSN21而论，例如，驱动扬声器选择部22在连接收听者LSN21和扬声器阵列25的y方向上求出直线L11。此外，驱动扬声器选择部22把最接近直线L11和扬声器阵列25的交叉点的扬声器设定为中心扬声器。
此外，就收听者LSN21而论，驱动扬声器选择部22选择以中心扬声器为中心排列在x方向上的预定数量的扬声器(例如，多个扬声器)作为包括驱动扬声器的扬声器组SPG11。
如上所述选择的扬声器组SPG11是包括位于收听者LSN21前方的一个或更多个对称扬声器的扬声器组，即以当从收听者LSN21观察时位于y方向上的扬声器为中心。本例中，在平行于扬声器阵列25的方向上(即在x方向上)位于收听者LSN21附近的扬声器被选定为驱动扬声器。
如上所述，位于收听者LSN21前方的扬声器(即，位于收听者LSN21附近的扬声器)被用作驱动扬声器。当形成通过波面合成向收听者LSN21提出的声场时，在收听者LSN21的位置中可以以足够高的再现性形成声音的波面。特别是，在通过使用扬声器阵列形成声音的波面的情况下，波面的再现性越接近扬声器阵列的中心变得越高。因此，当收听者LSN21的前方被设定为包括驱动扬声器的扬声器阵列的中心位置时，可以改善波面的再现性。
此外，同样，就收听者LSN22而论，以与收听者LSN21类似的方式，驱动扬声器选择部22在连接收听者LSN22和扬声器阵列25的y方向上求出直线L12。此外，驱动扬声器选择部22把最接近直线L12和扬声器阵列25的交叉点的扬声器设定为中心扬声器。此外，就收听者LSN22而论，驱动扬声器选择部22选择以中心扬声器为中心排列在x方向上的预定数量的扬声器作为包括驱动扬声器的扬声器组SPG12。
请注意，这里，在各收听者中不同的扬声器被选定为收听者LSN21和收听者LSN22的各驱动扬声器。此外，单个扬声器可被用作多个收听者的驱动扬声器。相反，各收听者的驱动扬声器可被选定为使得单个扬声器不被用作多个收听者的驱动扬声器。在这种情况下，可以抑制允许各收听者听到的声音相互干扰，并可以进一步改善声音的波面的再现性。
此外，如图6所示，例如，当不仅考虑收听者的位置而且考虑在形成声场时生成的声源的位置时，可以执行驱动扬声器的选择。请注意，图6中与图5中的情况相对应的部分被附上相同附图标记，并将任意地省略其说明。
本例中，假设收听区域中存在收听者LSN21和收听者LSN22。此外，假设在形成声场时为收听者LSN21生成声源AS21并允许收听者LSN21听到声源AS21的声音。此外，假设在形成声场时为收听者LSN22生成声源AS22并允许收听者LSN22听到声源AS22的声音。例如，声源AS21和声源AS22的位置可被设定为预定位置。可替换地，指示声源位置的信息可以包括在形成方式信息中。
在这种情况下，就收听者LSN21而论，例如，驱动扬声器选择部22求出连接收听者LSN21和声源AS21的直线L21。此外，驱动扬声器选择部22把最接近直线L21和扬声器阵列25的交叉点的扬声器设定为中心扬声器。此外，就收听者LSN21而论，驱动扬声器选择部22选择以中心扬声器为中心对称地排列在x方向上的预定数量的扬声器作为包括驱动扬声器的扬声器组SPG21。
因此，本例中，在平行于扬声器阵列25的方向上(即，在x方向上)位于收听者LSN21和声源AS21附近的扬声器被选定为驱动扬声器。
驱动多个扬声器并通过波面合成来生成(形成)声源AS21。在这种情况下，生成声源AS21的贡献率在声源AS21附近的位置中的扬声器中应该更高。因此，存在于靠近收听者LSN21和声源AS21的位置中的扬声器被选定为驱动扬声器。该处理允许即使少量扬声器也以足够再现性形成波面。
此外，同样，就收听者LSN22而论，以与收听者LSN21类似的方式，驱动扬声器选择部22求出连接收听者LSN22和声源AS22的直线L22。此外，驱动扬声器选择部22把最接近直线L22和扬声器阵列25的交叉点的扬声器设定为中心扬声器。此外，就收听者LSN22而论，驱动扬声器选择部22选择以中心扬声器为中心对称地排列在x方向上的预定数量的扬声器作为包括驱动扬声器的扬声器组SPG22。
请注意，选定为驱动扬声器的扬声器数量可以是预定数量。可替换地，可以存在根据在y方向上介于扬声器阵列25和收听者之间的距离、连接声源和收听者位置的直线的倾角等来确定的有价值的数量。例如，当连接声源和收听者位置的直线的倾角较大时，更多个扬声器被用作驱动扬声器。在这种情况下，可以选择适当数量的扬声器以以足够再现性形成波面。相反，例如，当在y方向上介于收听者和扬声器阵列25之间的距离较短时，驱动扬声器的数量可能减少得更多。
此外，这里对通过波面合成形成声场的情况作为示例进行说明。此外，可以同时例如从选定为驱动扬声器的扬声器输出相同声音。这允许在生成扬声器驱动信号时当在各扬声器中执行滤波处理等时减少计算量。另外，可以抑制允许预定收听者听到的再现声音和允许其他收听者听到的声音混合。
此外，作为选择驱动扬声器的方法的其他示例，例如，如图7所示，可以根据在y方向上介于收听者和扬声器阵列25之间的距离的比率(即，在深度方向上的距离的比率)来选择驱动扬声器。请注意，图7中与图5中的情况相对应的部分被附上相同附图标记，并将任意地省略其说明。
在图7中箭头Q31所示的示例中，收听区域中存在收听者LSN21和收听者LSN22。在y方向上从扬声器阵列25到收听者LSN21的距离y1与在y方向上从扬声器阵列25到收听者LSN22的距离y2的比率是y1:y2＝1:2。
因此，驱动扬声器选择部22选择驱动扬声器，使得用于形成允许收听者LSN21听到的声音的波面的驱动扬声器的数量与用于形成允许收听者LSN22听到的声音的波面的驱动扬声器的数量的比率等于1:2，1:2是距离y1与距离y2的比率。具体地，在y方向上，y方向是垂直于扬声器阵列25的方向，当从扬声器阵列25观察时在更远位置中存在收听者时，执行驱动扬声器的选择以更多地增加就收听者而论所选择的驱动扬声器的数量。
本例中，就收听者LSN21而论，存在于收听者LSN21的前方且连续排列在x方向上的五个扬声器被选定为包括驱动扬声器的扬声器组SPG31。相反，就收听者LSN22而论，存在于收听者LSN22的前方且连续排列在x方向上的十个扬声器被选定为包括驱动扬声器的扬声器组SPG32。
如上所述，在收听者附近的位置中的扬声器被选定为驱动扬声器。另外，根据与各收听者的扬声器阵列25相距的距离的比率，确定分配给各收听者的驱动扬声器的数量。该处理允许在各收听者的位置中以足够再现性形成波面。
本例中，例如，单个参照线RFL11被设定为收听者LSN21和收听者LSN22。波面合成是当从扬声器阵列25观察时用于在比参照线RFL11更远的一侧上形成声场的技术。因此，本例中，参照线RFL11被设定为靠近收听者LSN21，收听者LSN21存在更靠近扬声器阵列25的位置中。
在波面合成中，当扬声器阵列25更靠近参照线RFL11时，波面的再现性更高。因此，即使针对靠近参照线RFL11的收听者LSN21使用少量驱动扬声器，也可以以足够再现性形成波面。
相反，远离参照线RFL11的位置中存在收听者LSN22。因此，需要使用更多个驱动扬声器以确保波面的足够再现性。因此，就收听者LSN22而论，比收听者LSN21的扬声器更多的扬声器被用作驱动扬声器。
此外，通过波面合成，只可以在参照线的扬声器阵列侧上生成声源。因此，当在各收听者等附近生成声源时，可以在各收听者中指定参照线，例如，如箭头Q32所示。
本例中，参照线RFL21被指定给收听者LSN21，参照线RFL22被指定给收听者LSN22。
在这种情况下，用用作参照线的参照线RFL21生成用于形成允许收听者LSN21听到的声音的波面的扬声器驱动信号。根据扬声器驱动信号来驱动扬声器组SPG31并形成向收听者LSN21提出的声场。通过该处理，在收听者LSN21的位置中，再现来自在其位置附近生成的声源的声音。
相反，用用作参照线的参照线RFL22生成用于形成允许收听者LSN22听到的声音的波面的扬声器驱动信号。根据扬声器驱动信号来驱动扬声器组SPG32并形成声场。
该处理允许在各收听者LSN21和LSN22附近生成声源。
因为参照线距扬声器阵列25更远，所以需要更多驱动扬声器以以足够再现性形成波面。因此，参照线被设定在各收听者附近并在各收听者附近生成声源。在这种情况下，根据从扬声器阵列25到各收听者的距离的比率来确定驱动扬声器的数量。由此，对于各收听者可以使用适当数量的驱动扬声器。该处理允许在各收听者的位置中以足够再现性形成声音的波面。
例如，在扬声器阵列25是平面扬声器阵列等的情况下，驱动扬声器选择部22可以根据头部的高度(即，各收听者的耳朵的高度)来选择驱动扬声器。
具体地，例如，具有与收听者的耳朵的位置相同的高度的扬声器被选定为驱动扬声器。由此，即使存在彼此靠近耳朵位置的高度不同的两个收听者，也可以抑制各收听者的声音相互干扰。
此外，在各收听者中选择驱动扬声器的情况下，可以根据收听空间中存在的收听者的数量来确定各收听者的驱动扬声器的数量，例如，如图8所示。请注意，图8中与图3中的情况相对应的部分被附上相同附图标记，并将任意地省略其说明。
在箭头Q41所示的示例中，例如，收听区域中存在两个人的收听者LSN31和收听者LSN32。请注意，驱动扬声器选择部22可以根据收听者位置信息来指定收听区域中存在的收听者的数量。
在这种情况下，驱动扬声器选择部22根据“2”来确定用作各收听者的驱动扬声器的扬声器数量，“2”是收听区域中的收听者数量。本例中，六个扬声器被用作各收听者中的驱动扬声器。
具体地，就收听者LSN31而论，驱动扬声器选择部22选择存在于收听者LSN31的前方且排列在x方向上的六个扬声器作为包括驱动扬声器的扬声器组SPG41。同样地，就收听者LSN32而论，驱动扬声器选择部22选择存在于收听者LSN32的前方且排列在x方向上的六个扬声器作为包括驱动扬声器的扬声器组SPG42。
此外，如箭头Q42所示，例如，收听区域中存在四个人的收听者LSN41至收听者LSN44。在这种情况下，驱动扬声器选择部22根据“4”来确定用作各收听者的驱动扬声器的扬声器数量，“4”是收听区域中的收听者数量。本例中，三个扬声器被用作各收听者中的驱动扬声器。
具体地，就收听者LSN41而论，驱动扬声器选择部22选择存在于收听者LSN41的前方且排列在x方向上的三个扬声器作为包括驱动扬声器的扬声器组SPG51。此外，就收听者LSN42而论，驱动扬声器选择部22选择存在于收听者LSN42的前方且排列在x方向上的三个扬声器作为包括驱动扬声器的扬声器组SPG52。同样地，驱动扬声器选择部22为收听者LSN43选择扬声器组SPG53以及为收听者LSN44选择扬声器组SPG54。
如上所述，根据收听者数量来确定各收听者中使用的驱动扬声器的数量。由此，即使收听者数量大，也可以抑制向各收听者再现的声音相互干扰。
特别是，本例中，执行驱动扬声器的选择，使得当收听区域中的收听者数量更大时，每个收听者的驱动扬声器数量变得更小，即，就收听者而论所选择的驱动扬声器数量变得更小。以上情况也是以与在包括多个收听者的各组(收听者组)中选择驱动扬声器的情况类似的方式。当组数量更大时，就组而论所选择的驱动扬声器数量变得更小。
请注意，可以例如通过使用参照图5和图6所述的方法来确定选择哪个扬声器作为驱动扬声器。
此外，例如，如参照图8所述根据收听者数量确定驱动扬声器数量的方法可以与参照图7所述的方法结合使用。在这种情况下，例如根据在y方向上从扬声器阵列25到各收听者的距离的比率来确定各收听者中的驱动扬声器数量的比率(比率)。此外，扬声器阵列25的扬声器根据驱动扬声器数量的比率分配给收听者中的任何一个人。可替换地，确定各收听者中使用的驱动扬声器，使得同一扬声器不被分配给任何收听者，即，同一扬声器不被分配给多个收听者。
请注意，因为在x方向上介于两个收听者之间的距离可能很短，所以同一扬声器可被用作彼此不同的收听者的驱动扬声器。然而，当单个扬声器优选地被用作单个收听者的驱动扬声器时，可以改善声音干扰的抑制效果。
此外，当选择驱动扬声器时，除了收听者位置信息之外，可以任意地使用形成方式信息。换言之，可以根据由形成方式信息指示的声场形成方式选择驱动扬声器。
例如，由形成方式信息指示的具体声场形成方法(即声场形成方式)包括基于延迟总和等使用指向性控制的方法、通过使用波场合成(WFS)或频谱相除法(SDM)生成聚焦声源的方法、生成渐逝波的方法等。
例如，在通过使用指向性控制朝向收听者方向形成高指向性声场的情况下，在收听者前方的扬声器不一定被用作驱动扬声器。
因此，例如，在通过使用上述参照图7、图8等所述的方法选择驱动扬声器的情况下，当通过指向性控制来形成声场时，驱动扬声器选择部22不能选择同一扬声器作为各收听者的驱动扬声器。即，例如，假设在各收听者前方的扬声器作为驱动扬声器。当单个扬声器被用作多个收听者的驱动扬声器时，在偏离各收听者前方的位置中的扬声器被选定为驱动扬声器。由此，可以防止这种驱动扬声器重叠。
此外，例如，在生成渐逝波从而形成声场的情况下，需要选择在收听者前方的扬声器作为驱动扬声器。
因此，例如，通过使用上述参照图5、图6等所述的方法来选择驱动扬声器。在这种情况下，当通过生成渐逝波来形成声场时，驱动扬声器选择部22可以允许选择同一扬声器作为多个收听者的驱动扬声器并选择各收听者的驱动扬声器。
此外，在例如通过使用SDM来形成声场的情况下，可以通过使用比其他方法相对更少的扬声器来形成声场。
因此，例如，通过使用参照图5至图8等所述的方法来选择驱动扬声器。在这种情况下，当通过使用SDM来形成声场时，驱动扬声器选择部22可以选择各收听者的驱动扬声器，使得同一扬声器不被选定为多个收听者的驱动扬声器。
请注意，选择驱动扬声器的方法并不限于上述示例。当通过至少使用收听者位置信息来选择驱动扬声器时，可以使用任何方法。例如，上述各个方法可以任意地组合等。
(声学滤波器系数记录部)
声学滤波器系数记录部23从先前准备的声学滤波器的滤波器系数中确定用于生成扬声器驱动信号的滤波器系数。
具体地，声学滤波器系数记录部23只把在用于通过使用由形成方式信息指示的方法来形成声场的声学滤波器的滤波器系数中由从驱动扬声器选择部22提供的驱动扬声器信息指示的驱动扬声器的滤波器系数提供给声学滤波器部24。
例如，假设由形成方式信息指示的声场形成方法为SDM。在这种情况下，声学滤波器系数记录部23只把在构成由SDM使用的扬声器阵列25的各扬声器的滤波器系数中由驱动扬声器信息指示的驱动扬声器的滤波器系数提供给声学滤波器部24。声学滤波器系数记录部23根据各收听者中的形成方式信息和驱动扬声器信息来选择滤波器系数并把所选择的滤波器系数提供给声学滤波器部24。
这里，例如，如下所述求出SDM中使用的声学滤波器的滤波器系数。请注意，例如在2010年第4届国际通信、控制和信号处理研讨会(ISCCSP)Sascha Spors和Jens Ahrens的“通过频谱相除法的聚焦源的再现”等中对SDM进行详细说明。
例如，三维自由空间中的声场P(v,ntf)由下面公式(1)表示。
【数学公式1】
请注意，公式(1)中，ntf表示时间频率索引，v是指示空间位置的向量，且v＝(x,y,z)成立。此外，公式(1)中，v0是指示x轴上的预定位置的向量，且v0＝(x0,0,0)成立。请注意，下文中，假设由向量v指示的位置也被称为位置v，由向量v0指示的位置也被称为位置v0。
此外，公式(1)中，D(v0,ntf)表示次声源的驱动信号，G(v，v0,ntf)是位置v和位置v0之间的传递函数。次声源的驱动信号D(v0,ntf)对应于构成扬声器阵列25的扬声器的扬声器驱动信号。
在上述公式(1)的计算中，驱动信号D(v0,ntf)和传递函数G(v,v0,ntf)的卷积在空间域中形成。此外，当在x轴方向上对由公式(1)表示的声场P(v,ntf)执行空间傅立叶变换时，声场由下面公式(2)表示。
【数学公式2】
PF(nsf，y，z，ntf)＝DF(nsf，ntf)GF(nsf，y，z，ntf) ···(2)
请注意，公式(2)中，nsf表示空间频率索引。
如上所述，当对声场P(v,ntf)执行空间傅立叶变换时，空间频率域中的声场PF(nsf,y,z，ntf)由空间频率域中的驱动信号DF(nsf,ntf)和传递函数GF(nsf,y,z,ntf)的乘积表示，如由公式(2)表示。因此，次声源的驱动信号的空间频率表达式由下面公式(3)表示。
【数学公式3】
此外，在使用直线上的次声源的情况下，可以允许平行于直线的控制点上(即，实际上只在参照线上形成)的声场与理想声场一致。因此，控制点的y方向上的位置被设定为y＝yref，且因为认为在水平表面上形成声场，所以控制点的z方向上的位置被设定为z＝0。公式(3)由下面公式(4)表示。
【数学公式4】
由上面公式(4)表示的次声源的驱动信号DF(nsf,ntf)是用于在控制点中形成理想声场的驱动信号，位置y＝yref被设定为控制点。
此外，点声源模型Pps(nsf,yref,0,ntf)例如可被用作期望声场PF(nsf,yref,0,ntf)，如由下面公式(5)表示。
【数学公式5】
请注意，公式(5)中，S(ntf)表示待再现声音的声源信号，j表示虚数单位，kx表示x轴方向上的波数。另外，xps和yps分别表示指示点声源位置的x坐标和y坐标，ω表示角频率，c表示声速。此外，H0 (2)表示第二类汉克尔函数，K0表示贝塞尔函数。请注意，滤波器系数不取决于声源，因此这里被设定为S(ntf)＝1。
此外，传递函数GF(nsf,yref,0,ntf)可以由下面公式(6)表示。
【数学公式6】
使用上述公式(4)、公式(5)和公式(6)并求出扬声器阵列25的扬声器驱动信号的空间频谱DF(nsf,ntf)。
接着，通过使用离散傅立叶变换(DFT)对空间频谱DF(nsf,ntf)执行空间频率合成，从而求出时频谱D(l，ntf)。具体地，计算下面公式(7)，从而计算时频谱D(l,ntf)。
【数学公式7】
请注意，公式(7)中，l识别构成扬声器阵列25的扬声器并表示指示扬声器的x方向上的位置的扬声器索引。此外，Mds表示DFT的样本数量。
此外，通过使用离散傅立叶反变换(IDFT)对时频谱D(l,ntf)执行时间频率合成。此外，求出构成扬声器阵列25的各扬声器的扬声器驱动信号d(l,nd)，扬声器驱动信号d(l,nd)是时间信号。具体地，计算下面公式(8)，从而计算扬声器驱动信号d(l,nd)。
【数学公式8】
请注意，公式(8)中，nd表示时间索引，Mdt表示IDFT的样本数量。
如上所述求出的扬声器驱动信号d(l,nd)表示不取决于声源的滤波器系数本身。因此，扬声器驱动信号d(l,nd)的时间索引nd用时间索引n代替。代替的时间索引n被设定为在点声源的位置(xps,yps)和控制点的位置y＝yref中求出的声学滤波器的滤波器系数h(l，n)。
这里，就单个控制点而论，在由扬声器阵列25的扬声器索引l识别的各扬声器中求出滤波器系数h(l，n)。即，声学滤波器由构成扬声器阵列25的各扬声器的滤波器系数h(l,n)构成。
根据需要，在点声源的各位置(xps,yps)和控制点的各位置中求出上述滤波器系数h(l,n)并记录在声学滤波器系数记录部23中。
此外，例如，求出在通过生成渐逝波形成声场时使用的声学滤波器的滤波器系数，例如，如下所述。请注意，例如在2011年IEEE音频和声学信号处理应用研讨会(WASPAA)Itou等人“使用线性扬声器阵列的渐逝波再现”中对通过使用渐逝波形成声场的方法进行详细说明。
在三维自由空间中，例如，在时间t处在给定位置v中的声场p(v,t)满足由下面公式(9)表示的波动方程。
【数学公式9】
请注意，公式(9)中，c表示声速，如由下面公式(10)表示。
【数学公式10】
此外，假设时间傅立叶反变换T(t)由下面公式(11)表示。此时，时间傅立叶变换F(·)由下面公式(12)表示。
【数学公式11】
【数学公式12】
请注意，公式(11)和公式(12)中，j表示虚数单位，ω表示角频率。
这里，通过执行变量分离，上述公式(9)被分离成空间分化和时间分化，如由下面公式(13)表示。此外，当使用公式(12)时，得到由下面公式(14)表示的亥姆霍兹方程。
【数学公式13】
p(v,t)＝X(v)T(t)
【数学公式14】
请注意，公式(14)中，P(v,ω)表示位置v中的角频率ω的声场。此外，角频率是ωpw，x方向上、y方向上和z方向上的波数分别是kpw,x、kpw,y和kpw,z。此时，在由角频率ωpw、波数kpw,x、波数kpw，y和波数kpw，z指示的方向上传播的平面波由公式15表示。此外，由公式(14)表示的亥姆霍兹方程的通解由下面公式(15)表示。
【数学公式15】
请注意，公式(15)中，δ(ω-ωpw)表示δ函数。
这里，由下面公式(16)表示的关系在波数域中成立。
【数学公式16】
当就y方向上的波数kpw,y而论求解公式(16)时，公式(16)由下面公式(17)表示。
【数学公式17】
上面公式(17)的上段(即上部)所示的波数kpw,y的波表示正常传播波，而上面公式(17)的下段(即下部)所示的波数kpw,y的波表示渐逝波。
因此，当公式(17)的下段所示的渐逝波的波数kpw，y代入由公式(15)表示的声场P(v,ω)时，公式(15)由下面公式(18)表示。
【数学公式18】
请注意，然而，当波数kpw,y代入公式(15)时，波数kpw,y的符号为正的项是没有物理意义的解，因此，符号为负的项代入公式(15)。
此外，由公式(18)表示的表达式中的(kpw,x 2+kpw,z 2-(ω/c)2)1/2是确定渐逝波的衰减大小的项。
因此，例如，期望渐逝波具有恒定衰减大小，而不是取决于角频率ω。在这种情况下，使用指示衰减大小的固定数α，只需设定波数kpw，x和波数kpw,y以满足下面公式(19)。此时，从公式(18)可以理解，当固定数α更大时，渐逝波的下降率变得更大。
【数学公式19】
这里，考虑求出用于得出生成由公式(18)表示的渐逝波的扬声器驱动信号的声学滤波器的滤波器系数。
当就x而论对公式(18)执行空间傅立叶变换时，公式(18)由下面公式(20)表示。
【数学公式20】
此外，传递函数的空间频谱G’(kx,y,z，ω)由下面公式(21)表示。
【数学公式21】
请注意，公式(21)中，H0 (2)表示第二类汉克尔函数，K0表示贝塞尔函数。
此外，使用公式(20)和公式(21)，扬声器驱动信号的空间频谱D’(kx,ω)通过SDM由下面公式(22)表示。
【数学公式22】
公式(22)中，yref表示基于y方向的控制点的位置。
对如上所述就波数kx而论得到的公式(22)执行空间傅立叶反变换，从而得到由下面公式(23)表示的扬声器驱动信号的时频谱D(x,ω)。
【数学公式23】
此外，当对如上所述得到的时频谱D(x,ω)执行时间傅立叶反变换时，求出扬声器驱动信号的时间波形d(x,t)，即作为时间信号的扬声器驱动信号d(x，t)，如由下面公式(24)表示。
【数学公式24】
此时，识别构成扬声器阵列25的扬声器，且指示扬声器在x方向上的位置的索引被设定为l。然后，如由下述公式(25)表示，从公式(24)中求出声学滤波器的扬声器索引l的扬声器的滤波器系数h(l,n)。
【数学公式25】
请注意，公式(25)中，n表示时间索引。这里，由公式(24)表示的扬声器驱动信号d(x,t)中的x用扬声器索引l代替，同时，t用时间索引n代替，从而得到滤波器系数h(l,n)。如上所述得到的滤波器系数h(l,n)被预先记录在声学滤波器系数记录部23中。
此外，上文中，对在波数域中求出渐逝波并计算滤波器系数h(l，n)的方法进行说明。此外，可以通过使用除上述方法之外的方法求出生成渐逝波的滤波器系数。
如上所述，在用于形成声场的方法或用于形成声场的多个方法中的各方法中，诸如用于SDM的滤波器系数或用于通过渐逝波形成声场的滤波器系数的滤波器系数被记录在声学滤波器系数记录部23中。
(声学滤波器部)
待再现声音的声源信号x(n)被提供给声学滤波器部24。这里，声源信号x(n)的n表示时间索引。
声学滤波器部24对所提供的声源信号x(n)和从声学滤波器系数记录部23提供的滤波器系数h(l,n)进行卷积以求出扬声器驱动信号d(l,n)。具体地，在声学滤波器部24中，在构成扬声器阵列25的扬声器的各驱动扬声器中执行下面公式(26)的计算。然后，计算由扬声器索引识别的各驱动扬声器的扬声器驱动信号d(l,n)。
【数学公式26】
请注意，公式(26)中，N表示声学滤波器的滤波器长度。
此外，在驱动扬声器选择部22中，在各收听者中选择驱动扬声器。在这种情况下，声学滤波器的滤波器系数h(l,n)从声学滤波器系数记录部23提供给各收听者。在这种情况下，声学滤波器部24求出各收听者中的各驱动扬声器的扬声器驱动信号d(l,n)以求出最终扬声器驱动信号。此时，例如，在单个扬声器被设定为多个收听者的驱动扬声器的情况下，就扬声器而论计算的各收听者的扬声器驱动信号进行相加并设定为最终扬声器驱动信号。
声学滤波器部24把如上所述得到的最终扬声器驱动信号提供给扬声器阵列25。
<声场形成处理的说明>
接着，将对上述声场形成装置11的操作进行说明。具体地，下文中，将参照图9所示的流程图对由声场形成装置11执行的声场形成处理进行说明。
在步骤S11中，收听者位置获取部21获取收听者位置信息并把它提供给驱动扬声器选择部22。
在步骤S11中，例如，获取从外部装置提供或从用户等输入指示收听区域中各收听者的位置的信息作为收听者位置信息。此外，例如，可以根据被作为收听者位置获取部21的照相机拍摄到的图像的物体识别、由作为收听者位置获取部21的压感传感器执行的收听者检测等求出收听者位置。
在步骤S12中，驱动扬声器选择部22根据从收听者位置获取部21提供的收听者位置信息和从外部提供的形成方式信息来选择各收听者的驱动扬声器。此外，驱动扬声器选择部22生成指示驱动扬声器的选择结果的驱动扬声器信息。
在步骤S12中，例如，通过使用参照图5至图8等所述的方法等为各收听者选择驱动扬声器。驱动扬声器选择部22把因选择驱动扬声器而生成的驱动扬声器信息提供给声学滤波器系数记录部23。
在步骤S13中，声学滤波器系数记录部23根据从外部提供的形成方式信息和从驱动扬声器选择部22提供的驱动扬声器信息从预先记录的多个滤波器系数中选择各收听者中的滤波器系数并把它提供给声学滤波器部24。此时，就各收听者而论，声学滤波器系数记录部23从由由形成方式信息指示的声场形成方法使用构成扬声器阵列25的所有扬声器的滤波器系数中只选择由驱动扬声器信息指示的驱动扬声器的滤波器系数并把它提供给声学滤波器部24。
在步骤S14中，就各收听者而论，声学滤波器部24对从外部提供的声源信号和从声学滤波器系数记录部23提供的滤波器系数进行卷积并求出扬声器驱动信号。此外，声学滤波器部24根据各收听者中求出的扬声器驱动信号得出最终扬声器驱动信号。
具体地，在步骤S14中，执行上述公式(26)的计算并计算各扬声器的扬声器驱动信号。此外，根据需要，同一扬声器的各收听者的扬声器驱动信号进行相加并生成最终扬声器驱动信号。
具体地，例如，就从构成扬声器阵列25的扬声器中选择只有单个收听者的扬声器作为驱动扬声器而论，就扬声器而论求出的扬声器驱动信号直接被设定为最终扬声器驱动信号。
相反，就从构成扬声器阵列25的扬声器中选择多个收听者的扬声器作为驱动扬声器而论，就扬声器而论在各收听者中求出的扬声器驱动信号的总和被设定为最终扬声器驱动信号。此外，就未被选定为驱动扬声器的扬声器而论，扬声器的扬声器驱动信号可被例如设定为静音信号。可替换地，可以设定不生成扬声器驱动信号本身。
当生成构成扬声器阵列25的各扬声器的扬声器驱动信号时，声学滤波器部24把得到的扬声器驱动信号提供给扬声器阵列25。
在步骤S15中，扬声器阵列25输出声音并根据从声学滤波器部24提供的扬声器驱动信号形成期望声场。然后，声场形成处理结束。
如上所述，声场形成装置11获取收听者位置信息并根据收听者位置信息和形成方式信息来选择驱动扬声器。此外，声场形成装置11通过只使用选定驱动扬声器的滤波器系数来执行卷积处理并生成扬声器驱动信号。
由此，在各收听者中可以从构成扬声器阵列25的扬声器中选择适当的扬声器并可以执行声场形成。此外，可以抑制各收听者中再现的声音的干扰并可以改善声音的波面的再现性。此外，在各收听者中只需执行仅就驱动扬声器而论的卷积运算。因此，可以通过使用较小计算量来改善波面的再现性。
此外，通过使用声场形成装置11在收听者位置中形成点声源。在这种情况下，当收听者随时间移动到其他位置时，点声源的位置根据实时变化的收听者位置信息可以随收听者移动而移动。在点声源的移动中，例如，选定为驱动扬声器的扬声器的位置根据收听者移动而移动。通过该处理，即，根据收听者移动后的位置重新选择驱动扬声器，从而实现点声源的形成。
此外，如上所述对在各收听者中执行驱动扬声器的选择的示例进行说明。此外，在存在彼此靠近等的多个收听者的情况下，多个收听者可被设定为单个组并可以以组为单位执行处理。在这种情况下，在各组中，可以选择驱动扬声器并可以执行声源信号和滤波器系数的卷积。
当对收听者进行分组时，例如，相互距离比预先确定的恒定距离更短的多个收听者可以作为单个组进行处理。可替换地，可以通过使用其他方法对收听者进行分组。
在形成声场时，例如，可以生成扬声器驱动信号，使得朝向组域从扬声器阵列25输出的声音的指向性根据包括多个收听者的组大小(即，包含属于组的收听者的域大小)变宽。即，例如，可以改变通过指向性控制听到声音的域的x方向上和y方向上的宽度。
此外，在包括多个收听者的组中，例如，假设新收听者移动并从外部到达组。在这种情况下，可以作为添加收听者的新组执行处理。相反，假设组中存在的收听者移动并与已经存在的组分开。在这种情况下，可以作为排除收听者的新组执行处理。
此外，例如，声场形成装置11也适用于通过根据收听者国籍(即，使用语言)切换内容而再现的系统等。在这种情况下，例如，使用收听区域中的收听者的国籍信息，只需切换允许收听者听到的内容。此时，可以例如从收听者拥有的电子护照等获取收听者的国籍信息。可替换地，可以通过使用其他方法获取收听者的国籍信息。
<计算机的构成例>
上述一系列处理可以由硬件或由软件执行。在由软件执行一系列处理的情况下，包括在软件中的程序被安装到计算机中。这里，计算机可以是嵌入专用硬件中的计算机或可以是例如可以通过安装各种程序执行各种功能的通用计算机。
图10是示出用于通处理序执行上述一系列处理的计算机的硬件的构成例的方块图。
在计算机中，中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503经由总线504彼此连接。
输入/输出接口505还连接到总线504。输入部506、输出部507、记录部508、通信部509和驱动器510连接到输入/输出接口505。
输入部506包括键盘、鼠标、麦克风、图像拾取设备等。输出部507包括显示器、扬声器阵列等。记录部508包括硬盘、非易失性存储器等。通信部509包括网络接口等。驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质511。
在如上所述构成的计算机中，CPU 501通过输入/输出接口505和总线504把例如记录在记录部508中的程序加载到RAM 503中并执行程序，从而执行上述一系列处理。
例如，由计算机(CPU 501)执行的程序被记录在可移除记录介质511中，该可移除记录介质511当被提供时用作封装介质等。此外，程序可以通过诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供。
在计算机中，通过把可移除记录介质511安装到驱动器510，程序可以通过输入/输出接口505安装到记录部508中。此外，程序可以在通信部509中通过有线或无线传输介质接收并可以安装到记录部508中。另外，程序可以预先安装到ROM 502或记录部508中。
请注意，由计算机执行的程序可以是按照本说明书中所述的顺序以时间顺序执行处理的程序或可以是并行地或必要时(诸如当进行调用时)执行处理的程序。
此外，本技术的实施例并不限于上述实施例，且在不脱离本技术的主旨的范围内可以进行多种变化。
例如，本技术可以具有云计算配置，其中多个装置经由网络共享一个功能并共同处理。
上面参照上述流程图所述的步骤可以由单个装置执行或可以由多个装置共享和执行。
此外，在单个步骤中包括多个处理的情况下，单个步骤中包括的多个处理可以由单个装置执行或可以由多个装置共享和执行。
顺便提及，本说明书中所述的有益效果完全是说明性的且并不限于上述有益效果，且可能存在除了本说明书中所述的有益效果之外的有益效果。
此外，本技术还可采用以下构成。
(1)一种声场形成装置，包括：
收听者位置获取部，被配置成获取指示收听者位置的收听者位置信息；
驱动扬声器选择部，被配置成根据收听者位置信息在构成扬声器阵列的扬声器中选择用于形成声场的一个或多个扬声器作为驱动扬声器；
驱动信号生成部，被配置成根据驱动扬声器的选择结果驱动驱动扬声器并生成用于形成声场的扬声器驱动信号。
(2)根据(1)所述的声场形成装置，其中
所述扬声器驱动信号是用于通过波面合成形成声场的信号。
(3)根据(1)或(2)所述的声场形成装置，其中
所述驱动信号生成部仅就构成扬声器阵列的扬声器的驱动扬声器对滤波器系数和声源信号进行卷积而论生成扬声器驱动信号。
(4)根据(3)所述的声场形成装置，还包括：
滤波器系数记录部，被配置成记录构成扬声器阵列的各扬声器的滤波器系数。
(5)根据(1)至(4)中任一项所述的声场形成装置，其中
所述驱动扬声器选择部选择在平行于扬声器阵列的方向上位于收听者附近的扬声器作为驱动扬声器。
(6)根据(1)至(5)中任一项所述的声场形成装置，其中
所述驱动扬声器选择部选择在平行于扬声器阵列的方向上位于因形成声场而生成的声源附近的扬声器作为驱动扬声器。
(7)根据(1)至(6)中任一项所述的声场形成装置，其中
所述驱动扬声器选择部选择驱动扬声器，使得当所述收听者在距离所述扬声器阵列越远的位置存在时，所述驱动扬声器的数量在垂直于所述扬声器阵列的方向上变得越大。
(8)根据(1)至(7)中任一项所述的声场形成装置，其中
所述驱动扬声器选择部选择驱动扬声器，使得在各所述听者或各所述收听者组选择所述驱动扬声器的情况下，当所述收听者或收听者组的数量越大时，就所述收听者或所述收听者组而选择的所述驱动扬声器的数量变得越小。
(9)根据(1)至(8)中任一项所述的声场形成装置，其中
所述驱动扬声器选择部根据声场的形成方式选择驱动扬声器。
(10)一种声场形成方法，包括以下步骤：
获取指示收听者位置的收听者位置信息；
根据收听者位置信息在构成扬声器阵列的扬声器中选择用于形成声场的一个或多个扬声器作为驱动扬声器；
根据驱动扬声器的选择结果驱动驱动扬声器并生成用于形成声场的扬声器驱动信号。
(11)一种用于使计算机执行处理的程序，该处理包括以下步骤：
获取指示收听者位置的收听者位置信息；
根据收听者位置信息在构成扬声器阵列的扬声器中选择用于形成声场的一个或多个扬声器作为驱动扬声器；
根据驱动扬声器的选择结果驱动驱动扬声器并生成用于形成声场的扬声器驱动信号。
【附图标记列表】
11 声场形成装置
21 收听者位置获取部
22 驱动扬声器选择部
23 声学滤波器系数记录部
24 声学滤波器部
25 扬声器阵列。

Claims (11)

1.一种声场形成装置，包括：
收听者位置获取部，被配置成获取指示收听者位置的收听者位置信息；
驱动扬声器选择部，被配置成根据所述收听者位置信息在构成扬声器阵列的扬声器中选择用于形成声场的一个或多个扬声器作为驱动扬声器；
驱动信号生成部，被配置成根据所述驱动扬声器的选择结果，驱动所述驱动扬声器并生成用于形成所述声场的扬声器驱动信号。
2.根据权利要求1所述的声场形成装置，其中
所述扬声器驱动信号是用于通过波面合成形成声场的信号。
3.根据权利要求1所述的声场形成装置，其中
所述驱动信号生成部仅就构成所述扬声器阵列的扬声器的所述驱动扬声器，对滤波器系数和声源信号进行卷积并生成所述扬声器驱动信号。
4.根据权利要求3所述的声场形成装置，还包括：
滤波器系数记录部，被配置成记录构成所述扬声器阵列的各扬声器的所述滤波器系数。
5.根据权利要求1所述的声场形成装置，其中
所述驱动扬声器选择部选择在平行于所述扬声器阵列的方向上位于所述收听者附近的扬声器作为所述驱动扬声器。
6.根据权利要求1所述的声场形成装置，其中
所述驱动扬声器选择部选择在平行于所述扬声器阵列的方向上位于因形成所述声场而生成的声源附近的扬声器作为所述驱动扬声器。
7.根据权利要求1所述的声场形成装置，其中
所述驱动扬声器选择部选择驱动扬声器，使得当所述收听者在距离所述扬声器阵列越远的位置存在时，所述驱动扬声器的数量在垂直于所述扬声器阵列的方向上变得越大。
8.根据权利要求1所述的声场形成装置，其中
所述驱动扬声器选择部选择驱动扬声器，使得在各所述听者或各所述收听者组选择所述驱动扬声器的情况下，当所述收听者或收听者组的数量越大时，就所述收听者或所述收听者组而选择的所述驱动扬声器的数量变得越小。
9.根据权利要求1所述的声场形成装置，其中
所述驱动扬声器选择部根据所述声场的形成方式选择所述驱动扬声器。
10.一种声场形成方法，包括以下步骤：
获取指示收听者位置的收听者位置信息；
根据所述收听者位置信息，在构成扬声器阵列的扬声器中选择用于形成声场的一个或多个扬声器作为驱动扬声器；
根据所述驱动扬声器的选择结果，驱动所述驱动扬声器并生成用于形成所述声场的扬声器驱动信号。
11.一种用于使计算机执行处理的程序，该处理包括以下步骤：
获取指示收听者位置的收听者位置信息；
根据所述收听者位置信息，在构成扬声器阵列的扬声器中选择用于形成声场的一个或多个扬声器作为驱动扬声器；
根据所述驱动扬声器的选择结果，驱动所述驱动扬声器并生成用于形成所述声场的扬声器驱动信号。
CN201780040469.XA 2016-07-05 2017-06-21 声场形成装置和方法以及程序 Pending CN109417678A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-133049 2016-07-05
JP2016133049 2016-07-05
PCT/JP2017/022773 WO2018008395A1 (ja) 2016-07-05 2017-06-21 音場形成装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN109417678A true CN109417678A (zh) 2019-03-01

Family

ID=60912588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780040469.XA Pending CN109417678A (zh) 2016-07-05 2017-06-21 声场形成装置和方法以及程序

Country Status (7)

Country Link
US (1) US11310617B2 (zh)
EP (1) EP3484184A4 (zh)
JP (1) JP6933215B2 (zh)
KR (1) KR20190022537A (zh)
CN (1) CN109417678A (zh)
BR (1) BR112018077408A2 (zh)
WO (1) WO2018008395A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329320A (zh) * 2021-05-27 2021-08-31 音王电声股份有限公司 一种基于对象的环屏扬声器阵列的声像合成算法及其应用

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018008396A1 (ja) * 2016-07-05 2018-01-11 ソニー株式会社 音場形成装置および方法、並びにプログラム
US11356790B2 (en) * 2018-04-26 2022-06-07 Nippon Telegraph And Telephone Corporation Sound image reproduction device, sound image reproduction method, and sound image reproduction program
US20210274304A1 (en) * 2018-07-30 2021-09-02 Sony Corporation Information processing apparatus, information processing system, information processing method, and program
WO2020030303A1 (en) 2018-08-09 2020-02-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An audio processor and a method for providing loudspeaker signals
JP2020053792A (ja) * 2018-09-26 2020-04-02 ソニー株式会社 情報処理装置、および情報処理方法、プログラム、情報処理システム
JP7234555B2 (ja) * 2018-09-26 2023-03-08 ソニーグループ株式会社 情報処理装置、および情報処理方法、プログラム、情報処理システム
US20220014864A1 (en) * 2018-11-15 2022-01-13 Sony Group Corporation Signal processing apparatus, signal processing method, and program
US10764707B1 (en) * 2019-01-29 2020-09-01 Facebook Technologies, Llc Systems, methods, and devices for producing evancescent audio waves
WO2020203343A1 (ja) * 2019-04-03 2020-10-08 ソニー株式会社 情報処理装置および方法、並びにプログラム
EP4005247A1 (en) * 2019-07-30 2022-06-01 Dolby Laboratories Licensing Corporation Coordination of audio devices
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
CN111615033B (zh) * 2020-05-14 2024-02-20 京东方科技集团股份有限公司 发声装置及其驱动方法、显示面板及显示装置
WO2022034805A1 (ja) * 2020-08-12 2022-02-17 ソニーグループ株式会社 信号処理装置および方法、並びにオーディオ再生システム
JP7380652B2 (ja) 2021-05-26 2023-11-15 セイコーエプソン株式会社 報知方法、情報処理装置、表示システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060098830A1 (en) * 2003-06-24 2006-05-11 Thomas Roeder Wave field synthesis apparatus and method of driving an array of loudspeakers
CN1898943A (zh) * 2003-11-06 2007-01-17 赫伯特·比希纳 用于处理输入信号的设备和方法
US20090087000A1 (en) * 2007-10-01 2009-04-02 Samsung Electronics Co., Ltd. Array speaker system and method of implementing the same
JP2009159312A (ja) * 2007-12-26 2009-07-16 Sharp Corp 音声再生装置、音声再生方法、音声再生システム、制御プログラム、および、コンピュータ読み取り可能な記録媒体
US20110103620A1 (en) * 2008-04-09 2011-05-05 Michael Strauss Apparatus and Method for Generating Filter Characteristics
JP2013110633A (ja) * 2011-11-22 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> トランスオーラルシステム
CN105122846A (zh) * 2013-04-26 2015-12-02 索尼公司 声音处理装置及声音处理系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004172786A (ja) * 2002-11-19 2004-06-17 Sony Corp オーディオ信号の再生方法および再生装置
JP4551652B2 (ja) 2003-12-02 2010-09-29 ソニー株式会社 音場再生装置及び音場空間再生システム
JP2006246310A (ja) * 2005-03-07 2006-09-14 Sony Corp オーディオ信号の再生方法および再生装置
JP4867248B2 (ja) 2005-09-15 2012-02-01 ヤマハ株式会社 スピーカ装置及び音声会議装置
WO2008041530A1 (fr) 2006-09-25 2008-04-10 National University Corporation Kanazawa University Réseau de haut-parleurs et réseau de microphones
JP2008219562A (ja) * 2007-03-06 2008-09-18 Sony Corp 音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラム
JP4449998B2 (ja) 2007-03-12 2010-04-14 ヤマハ株式会社 アレイスピーカ装置
DE102007032272B8 (de) 2007-07-11 2014-12-18 Institut für Rundfunktechnik GmbH Verfahren zur Simulation einer Kopfhörerwiedergabe von Audiosignalen durch mehrere fokussierte Schallquellen
EP2056627A1 (en) 2007-10-30 2009-05-06 SonicEmotion AG Method and device for improved sound field rendering accuracy within a preferred listening area
JP2010170166A (ja) 2009-01-20 2010-08-05 Sony Corp 情報処理装置、情報処理方法および情報処理プログラム
EP2478716B8 (en) 2009-11-04 2014-01-08 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement for an audio signal associated with a virtual source
JP5743003B2 (ja) * 2014-05-09 2015-07-01 ソニー株式会社 波面合成信号変換装置および波面合成信号変換方法
WO2016180493A1 (en) 2015-05-13 2016-11-17 Huawei Technologies Co., Ltd. Method and apparatus for driving an array of loudspeakers with drive signals

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060098830A1 (en) * 2003-06-24 2006-05-11 Thomas Roeder Wave field synthesis apparatus and method of driving an array of loudspeakers
CN1898943A (zh) * 2003-11-06 2007-01-17 赫伯特·比希纳 用于处理输入信号的设备和方法
US20090087000A1 (en) * 2007-10-01 2009-04-02 Samsung Electronics Co., Ltd. Array speaker system and method of implementing the same
JP2009159312A (ja) * 2007-12-26 2009-07-16 Sharp Corp 音声再生装置、音声再生方法、音声再生システム、制御プログラム、および、コンピュータ読み取り可能な記録媒体
US20110103620A1 (en) * 2008-04-09 2011-05-05 Michael Strauss Apparatus and Method for Generating Filter Characteristics
JP2013110633A (ja) * 2011-11-22 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> トランスオーラルシステム
CN105122846A (zh) * 2013-04-26 2015-12-02 索尼公司 声音处理装置及声音处理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113329320A (zh) * 2021-05-27 2021-08-31 音王电声股份有限公司 一种基于对象的环屏扬声器阵列的声像合成算法及其应用

Also Published As

Publication number Publication date
JPWO2018008395A1 (ja) 2019-04-25
KR20190022537A (ko) 2019-03-06
JP6933215B2 (ja) 2021-09-08
WO2018008395A1 (ja) 2018-01-11
EP3484184A1 (en) 2019-05-15
EP3484184A4 (en) 2019-06-19
US11310617B2 (en) 2022-04-19
BR112018077408A2 (pt) 2019-07-16
US20190327573A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
CN109417678A (zh) 声场形成装置和方法以及程序
US10382849B2 (en) Spatial audio processing apparatus
US10390171B2 (en) Method for generating customized spatial audio with head tracking
RU2682864C1 (ru) Устройство и способ обработки аудиоданных, и его программа
CN105900457B (zh) 用于设计和应用数值优化的双耳房间脉冲响应的方法和系统
US9578439B2 (en) Method, system and article of manufacture for processing spatial audio
US20230072391A1 (en) Systems and methods for modifying room characteristics for spatial audio rendering over headphones
CN106165444B (zh) 声场再现设备、方法和程序
CN108370487A (zh) 声音处理设备、方法和程序
KR20170086596A (ko) 유저 발성 인식으로부터의 머리 전달 함수 데이터의 결정
CN109417668A (zh) 声场形成装置和方法、以及程序
JP2011182135A (ja) 三次元音場再現システム
CN109155885A (zh) 局部声场形成装置、局部声场形成方法和程序
KR20220038478A (ko) 공간 변환 도메인에서 음장 표현을 처리하기 위한 장치, 방법 또는 컴퓨터 프로그램
Kamekawa et al. Evaluation of recording techniques for three-dimensional audio recordings: Comparison of listening impressions based on difference between listening positions and three recording techniques
Steffens et al. The role of early and late reflections on perception of source orientation
CN109196581A (zh) 局部静音声场形成设备和方法以及程序
Bai et al. Spatial sound field synthesis and upmixing based on the equivalent source method
US20210105571A1 (en) Sound image reproduction device, sound image reproduction method, and sound image reproduction program
CN109923877A (zh) 对立体声音频信号进行加权的装置和方法
US20210211810A1 (en) Partial hrtf compensation or prediction for in-ear microphone arrays
CN109792578A (zh) 信号处理设备和方法、以及程序
Andreopoulou Head-related transfer function database matching based on sparse impulse response measurements
Filipanits Design and implementation of an auralization system with a spectrum-based temporal processing optimization
Hara et al. Subjective evaluation of auralization using a directional sound source that simulates a trumpet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190301

WD01 Invention patent application deemed withdrawn after publication