CN115190411A - 一种双声道音频输出方法、装置、终端设备及存储介质 - Google Patents

一种双声道音频输出方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN115190411A
CN115190411A CN202110372173.6A CN202110372173A CN115190411A CN 115190411 A CN115190411 A CN 115190411A CN 202110372173 A CN202110372173 A CN 202110372173A CN 115190411 A CN115190411 A CN 115190411A
Authority
CN
China
Prior art keywords
target
signal
sound source
directional signal
directional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110372173.6A
Other languages
English (en)
Inventor
秦宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL Digital Technology Co Ltd
Original Assignee
Shenzhen TCL Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL Digital Technology Co Ltd filed Critical Shenzhen TCL Digital Technology Co Ltd
Priority to CN202110372173.6A priority Critical patent/CN115190411A/zh
Publication of CN115190411A publication Critical patent/CN115190411A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/09—Electronic reduction of distortion of stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种双声道音频输出方法、装置、终端设备及存储介质，所述方法包括：获取目标声源所对应的目标方向性信号，所述目标方向性信号用于反映所述目标声源所对应的双声道声音信号的方向信息；根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，所述目标串声消除数据用于对所述双声道声音信号进行串声消除；根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频信号。本发明可让用户听到图像上不同位置的声源的真实范围，有利于营造出一种更为真实、更有沉浸感的观影效果。

Description

一种双声道音频输出方法、装置、终端设备及存储介质
技术领域
本发明涉及音频输出技术领域，尤其涉及一种双声道音频输出方法、装置、终端设备及存储介质。
背景技术
在目前的电视节目中，播放的画面和音轨之间一般只采用时间轴关联，这样在播放时，双声道的音轨会有简单的水平面方位效果，而在上下方位上一般不会有方向效果。比如，当一个正在说话的人出现在电视画面中时，双声道声源可以大致体现这个声源是在左边或右边，但是用户并不能准确地确定声源的精确方位，声源的真实感降低，达不到沉浸式的观影效果。
因此，现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种双声道音频输出方法、装置、终端设备及存储介质，旨在解决现有技术中的终端设备在播放节目时，用户并不能准确地确定声源的精确方位，声源的真实感降低，达不到沉浸式的观影效果的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
第一方面，本发明提供一种双声道音频输出方法,其中，所述方法包括：
获取目标声源所对应的目标方向性信号，所述目标方向性信号用于反映所述目标声源所对应的双声道声音信号的方向信息；
根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，所述目标串声消除数据用于对所述双声道声音信号进行串声消除；
根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频信号。
在一种实现方式中，所述获取目标声源所对应的目标方向性信号，包括：
获取所述目标声源的位置信息；
根据所述位置信息，确定所述目标声源的所述目标方向性信号。
在一种实现方式中，所述根据所述位置信息，确定所述目标声源的目标方向性信号，包括：
根据所述位置信息，利用预设的头相关变换函数，构造所述目标声源的初始方向性信号，其中，所述头相关变换函数用于反映空间中不同方位的声音到人耳的传输途径的空间传递函数；
对所述初始方向性信号进行修正，得到所述目标方向性信号。
在一种实现方式中，所述对所述初始方向性信号进行修正，得到所述目标方向性信号，包括：
获取用户头部的正对方向信息，根据所述正对方向信息确定听音角度，所述听音角度用于反映用户听音的方向；
根据所述听音角度，对所述初始方向性信号进行修正，得到所述目标方向性信号。
在一种实现方式中，所述根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，包括：
获取所述双声道声音信号所对应的播放位置信息，所述播放位置信息用于反映双扬声器所在的位置；
根据所述播放位置信息与所述目标方向性信号，得到初始串声消除数据；
对所述初始串声消除数据进行修正，得到所述目标串声消除数据。
在一种实现方式中，所述根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频信号，包括：
获取所述目标方向性信号中的各信号频点各自对应的目标权值，其中，所述目标方向性信号中至少存在两个信号频点，两个信号频点各自对应的目标权值不同；
基于各信号频点各自对应的目标权值以及所述目标串声消除数据对各信号频点进行调整，以得到所述目标声源所对应的双声道音频信号。
在一种实现方式中，所述获取所述目标方向性信号中的各信号频点各自对应的目标权，包括：
基于预设的频率阈值确定所述目标方向性信号中的高频信号频点以及低频信号频点；
将第一权值作为各高频参信号频点各自对应的目标权值，并将第二权重作为各低频信号频点各自对应的目标权值，以得到各信号频点各自对应的目标权值。
第二方面，本发明实施例还提供一种双声道音频信号输出装置，其中，所述装置包括：
方向性信号获取模块，用于获取目标声源所对应的目标方向性信号，所述目标方向性信号用于反映所述目标声源所对应的双声道声音信号的方向信息；
串声消除矩阵获取模块，用于根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，所述目标串声消除数据用于对所述双声道声音信号进行串声消除；
双声道音频信号输出模块，用于根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频信号。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的双声道音频信号输出程序，所述处理器执行所述双声道音频信号输出程序时，实现上述方案中任一项所述的双声道音频输出方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有双声道音频信号输出程序，所述双声道音频信号输出程序被处理器执行时，实现上述方案中任一项所述的双声道音频输出方法的步骤。
有益效果：与现有技术相比，本发明提供了一种双声道音频输出方法，本发明首先获取目标声源所对应的目标方向性信号，由于所述目标方向性信号用于反映所述目标声源所对应的双声道声音信号的方向信息，因此根据该方向性信号可以大致确定出该目标声源的方向。接着，本发明根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，所述目标串声消除数据用于对所述双声道声音信号进行串声消除，减少串声干扰。最后，本发明根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频信号。由于本发明的目标方向性信号已经确定出了该目标声源所对应的双声道声音信号的方向，而所述目标串声消除数据又对该双声道声音信号进行了串声消除，因此得到的双声道音频信号中不但携带有该双声道声音信号的方向信息，又保证影响声音信号的质量，这样当该双声道音频信号播放时，可让用户实时听到画面上不同位置的目标声源的真实方位，有利于营造出一种更为真实、更有沉浸感的观影效果。
附图说明
图1为本发明实施例提供的双声道音频输出方法的具体实施方式的流程图。
图2为本发明实施例提供的双声道音频输出方法中获取方向性信号的流程图。
图3为本发明实施例提供的双声道音频输出方法中获取串声消除矩阵的流程图。
图4为本发明实施例提供的双声道音频输出方法中输出双声道音频信号的流程图。
图5是本发明实施例提供的双声道音频信号输出装置的原理框图。
图6是本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
经研究发现，在目前的电视节目中，播放的画面和音轨之间一般只采用时间轴关联，这样在播放时，双声道的音轨会有简单的水平面方位效果，而在上下方位上一般不会有方向效果。比如，当一个正在说话的人出现在电视画面中时，双声道声源可以大致体现这个声源是在左边或右边，但不能精确的让用户听到声源在水平面的精确方位，而垂直面的方位就更听不到了，可见，用户并不能准确地确定声源的精确方位，声源的真实感降低，达不到沉浸式的观影效果。
为了解决上述问题，本实施例提供一种双声道音频输出方法，通过本实施例的方法，用户可实时听到画面上不同位置的目标声源的真实方位，有利于营造出一种更为真实、更有沉浸感的观影效果。具体实施时，本实施例首先获取目标声源所对应的目标方向性信号，由于所述目标方向性信号用于反映所述目标声源所对应的双声道声音信号的方向信息，因此根据该方向性信号可以大致确定出该目标声源的方向。接着，本实施例根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，所述目标串声消除数据用于对所述双声道声音信号进行串声消除，减少串声干扰。最后，本实施例根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频信号。由于本发明的目标方向性信号已经确定出了该目标声源所对应的双声道声音信号的方向，而所述目标串声消除数据又对该双声道声音信号进行了串声消除，因此得到的双声道音频信号中不但携带有该双声道声音信号的方向信息，又保证影响声音信号的质量，以便营造出一种更为真实、更有沉浸感的观影效果。
举例说明，当电视机上正在播放电视节目时，此时电视机的屏幕上说话的人声即为目标声源。因此，电视机首先获取该人声的目标方向性信号，即得到了该人声的方向信息，确定出了该人声在屏幕上的位置。接着电视机根据该目标方向性信息，获取该人声的目标消除矩阵，所述目标串声消除数据可用于对该人声的声音信号进行串声消除，由于电视机是属于双扬声器设备，因此，本例的人声的声音信号为双声道声音信号，通过目标串声消除数据对该双声道声音信号进行串声消除后，可提高声音信号的质量。最后，电视机可根据该目标方向性信号和目标串声消除数据，播放该人声的双声道音频信号。用户就可以从该双声道音频信号中听出屏幕上不同位置的人声的真实方位，有利于营造出一种更为真实、更有沉浸感的观影效果。
示例性方法
本实施例的双声道音频输出方法可应用于终端设备中，所述终端设备可为具有视频播放功能的终端产品，比如电视机、电脑等。在本实施例中，如图1中所示，所述双声道音频输出方法具体包括如下步骤：
步骤S100、获取目标声源所对应的目标方向性信号，所述目标方向性信号用于反映所述目标声源所对应的双声道声音信号的方向信息。
本实施例中的目标声源即为在终端设备播放的画面中的人声。比如，当终端设备为电视机，电视机上播放的电视节目中，屏幕左侧的人物正在说话，则屏幕左侧的人声即为所述目标声源。本实施例所要实现的就是确定出目标声源的方向，以便在输出双声道音频信号时可以携带方向信息，让用户听出屏幕上不同位置的人声的真实方位。为此，本实施例首先需要获取标声源所对应的目标方向性信号。在本实施例中，该方向性信号用于反映目标声源所对应的双声道声音信号的方向信息。也就是说，当得到所述方向性信号后，就可以确定出该目标声源的位置即方向。
在一种实现方式中，如图2中所示，所述步骤S100具体包括：
步骤S101、获取所述目标声源的位置信息；
步骤S102、根据所述位置信息，确定所述目标声源的所述目标方向性信号。
在本实施例中，在确定所述目标声源所对应的目标方向性信号时，本实施例首先获取所述目标声源在图像中的位置信息。具体地，所述目标声源在图像中的位置信息即为该目标声源在屏幕上的位置，比如，确定出电视机的屏幕左侧的人物正在说话，则就表示目标声源在图像中的位置信息即为屏幕左侧。为了更为准确地确定出所述目标声源的位置信息，本实施例可采用图像定位算法来确定目标声源在图像中的位置信息。具体实施时，本实施例可首先获取到终端设备的屏幕正在播放的图像，从该图像中确定正在说话的人物，进而在确定该正在说话的人物在该屏幕上的位置，以得到所述位置信息。本实施例的位置信息可用坐标表示。
当得到所述位置信息后，即确定出了目标声源的位置，本实施例可根据该位置信息，确定出所述目标声源的所述目标方向性信号。具体地，本实施例可在得到该位置信息后，利用预设的头相关变换函数，构造所述目标声源的初始方向性信号。在本实施例中，所述头相关变换函数用于反映空间中不同方位的声音到人耳的传输途径的空间传递函数，该头相关变换函数HRTF(Head Related Transfer Function)是一种音效定位算法，这是因为空间不同方位的声源声音到人耳鼓膜的传递途径不同，引起人耳对空间声音方位感的不同感知，这种传递途径的数学表达即为一种空间传递函数，即为头相关变换函数。因此，本实施例可在得到位置信息后，根据该头相关变换函数，得到一个初始方向性信号，该初始方向性信号可确定出目标声源的方向。具体地，本实施例在得到位置信息后，即可确定位置信息所对应的左侧空间传递函数α0(θ,f)，右侧空间传递函数β0(θ,f)，进而根据左侧空间传递函数和右侧空间传递函数，确定出初始方向性信号。但是，由于用户在听音时，用户的头部不一定会一直保持一个方向，经常会出现偏转的情况，而如果用户的头部出现偏转，此时的初始方向性信号无法准确地反映出目标声源与用户人耳之间的相对位置。此时就需要对该初始方向性信号进行修正，以使得修正后得到的目标方向性信号可以更为准确地反映出目标声源与用户人耳之间的相对位置。
具体地，本实施例获取用户头部的正对方向信息，该正对方向信息为用户头部正面的朝向信息。比如，当用户头部的正对方向与目标声源的正对方向之间的偏转角度为5°时，则此时就可以确定出用户头部的正对方向信息是朝与与目标声源的正对方向之间的偏转角度为5的方向偏转的。本实施例在得到用户头部的正对方向信息后，可根据所述正对方向信息确定听音角度，所述听音角度用于反映用户听音的方向，该听音角度即为用户头部的正对方向与目标声源的正对方向之间的偏转角度(比如上述例子中的5°)。当确定出该听音角度后，本实施例即可对所述初始方向性信号进行修正，得到所述目标方向性信号。本实施例中得到的目标方向性信号不但可以反映出所述目标声源在图像中的位置，还可以反映出该目标声源与用户人耳之间的相对偏转角度，也就是该目标声源的方向信息，有利于在后续步骤中输出的双声道音频信号，用户可从中听出真实的人声的方位。
举例说明，当电视机屏幕上正在播放电视节目时，截取屏幕上的图像，并根据图像定位算法确定出图像左侧的人物正在说话，即确定出目标声源的位置信息，该位置信息为(x，y)。接着，利用预设的头相关变换函数，构造出初始方向性信号，该初始方向性信号可以反映出此时目标声源的方向，而目标声源最终是需要传播声音信号给用户人耳的，而用户头部可能存在偏转，为此本例可通过电视机上的摄像头采集到用户头部的图像信息，然后根据该图像信息确定出用户头部的正对方向信息，如该正对方向信息为用户人耳之间存在偏转，偏转角度为5°，该偏转角度即为用户此时的听音角度，因此就可根据该听音角度来对该初始方向性信号进行修正，从而得到目标方向性信号，此时的目标方向性信号可以准确地反映出目标声源的位置还可以反映出目标声源与用户人耳之间的偏转角度。
步骤S200、根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，所述目标串声消除数据用于对所述双声道声音信号进行串声消除。
由于目前的终端设备基本都是双扬声器设备，因此对应输出的声音信号为双声道声音信号。而双扬声器在输出双声道音频信号时，由于场景的开放，双扬声器发出的声音都可以被用户的左右耳都听到，也就是说，左扬声器发出的声音右耳能听到，反之，右扬声器发出的声音左耳能听到，从而形成交叉串声(cross-talk)。为了得到更为真实以及更为清晰的双声道音频信号，本实施例需要对获取所述目标声源所对应的目标串声消除数据。通过该目标串声消除数据可以对所述双声道声音信号进行串声消除，提高音频质量。
在一种实现方式中，如图3中所示，所述步骤S200具体包括：
步骤S201、获取所述双声道声音信号所对应的播放位置信息，所述播放位置信息用于反映双扬声器所在的位置；
步骤S202、根据所述播放位置信息与所述目标方向性信号，得到初始串声消除数据；
步骤S203、对所述初始串声消除数据进行修正，得到所述目标串声消除数据。
具体地，本实施例可首先获取双扬声器所在的位置，该位置即为双声道音频信号的播放位置信息，当得到所述播放位置信息后，本实施例可根据所述播放位置信息与所述目标方向性信号，得到初始串声消除数据。具体地，由于目标方向性信号可以准确地反映出目标声源的位置还可以反映出目标声源与用户人耳之间的偏转角度，而播放位置信息反映的是双扬声器所在的位置，因此本实施例可根据播放位置信息以及所述目标方向性信号，得到双扬声器相对于用户人耳之间的方位信息。在本实施例中，双扬声器包括第一扬声器和第二扬声器，比如确定出左扬声器在用户右耳的右前方30°。在获取初始串声消除数据时，本实施例还需获取预设位置信息，该预设位置信息为预先设置的，用于反映用户人耳接收该目标方向性信号的期望位置，当用户处于该期望位置，可以很好接收到该目标方向性信号，比如，预设位置信息为左扬声器在用户右耳的右前方20°。
当得到所述方位信息，即可确定基于方位信息确定目标方向性信号对应的串扰空间传递函数，其中，串扰空间传递函数与所述方位信息的对应关系可以为预先配置的，在获取到位置信号后，可以基于方位信息以及串扰空间传递函数与所述方位信息的对应关系，确定预设位置信息对应的串扰空间传递函数。此外，在本实施例中，所述双扬声器包括两个播放端，分别记为第一播放端和第二播放端，那么串扰空间传递函数包括方位信息为θ1的左前播放端到聆听者左耳的串扰空间传递函数α1(θ1,f)和右耳的串扰空间传递函数β1(θ1,f)，以及方位信息为θ2的右前播放端到聆听者左耳的串扰空间传递函数α2(θ2,f)和右耳的串扰空间传递函数β2(θ2,f)。在本实施例中，双声道音频信号的表示形式可以为：
L1＝α0(θ,f)E(f)
R1＝β0(θ,f)E(f)
其中，L1为在不考虑串扰的情况下用户左耳接收到的目标声源的双音道音频信号，R1为在不考虑串扰的情况下用户右耳接收到的目标声源的双音道音频信号，E(f)为方向性信号，α0(θ,f)为左侧空间传递函数，β0(θ,f)为右侧空间传递函数，θ为预设位置信息。
在实际应用的过程中，由于场景的开放，双扬声器发出的声音都可以被用户的左右耳都听到，也就是说，左扬声器发出的声音右耳能听到，反之，右扬声器发出的声音左耳能听到，从而形成交叉串声(cross-talk)。因此，在基于左侧空间传递函数α0(θ,f)以及右侧空间传递函数β0(θ,f)确定目标声源的双音道音频信号时需要考虑串扰信号，换句话说，在基于左侧空间传递函数α0(θ,f)以及右侧空间传递函数β0(θ,f)确定目标声源的双音道音频信号时需要考虑将串扰空间传递函数所传递的信号。由此，在考虑串扰的情况下，目标方向性信号的表达形式可以为：
L＝α1(θ1,f)α0(θ,f)E(f)+β2(θ2,f)β0(θ,f)E(f)
R＝α2(θ2,f)β0(θ,f)E(f)+β1(θ1,f)a0(θ,f)E(f)
其中，L为在考虑串扰的情况下用户左耳接收到的目标声源的双音道音频信号，R为在考虑串扰的情况下用户右耳接收到的目标声源的双音道音频信号，E(f)为方向性信号，α0(θ,f)为左侧空间传递函数，β0(θ,f)为右侧空间传递函数，θ为预设位置信息，α1(θ1,f)为方位信息θ1的左前播放端到用户左耳的串扰空间传递函数，β1(θ1,f)为方位信息θ1的左前播放端到用户右耳的串扰空间传递函数，α2(θ2,f)为方位信息θ2的左前播放端到用户左耳的串扰空间传递函数，β2(θ2,f)为方位信息θ2的左前播放端到用户右耳的串扰空间传递函数。
在一种实现方式中，本实施例将在考虑串扰的情况下的目标方向性信号的表达形式转换为矩阵形式可以为：
Figure BDA0003009708560000111
由在考虑串扰的情况下的目标方向性信号的矩阵形式可知，可以在考虑串扰的情况下的目标方向性信号上清除一个串声消除矩阵A去除串扰的影响，以将考虑串扰的情况下的目标方向性信号的表达式变换为未考虑串扰的情况下的期望环绕声源信号的表达式，以消除串扰的情况下的环绕声源信号中的串扰。
基于此，在获取到考虑串扰的情况下的目标方向性信号的矩阵形式后，可以对该矩阵形式进行求解满足：
Figure BDA0003009708560000121
的串声消除矩阵A(即为初始串声消除数据)，并将串声消除矩阵A作为串声消除参数，其中，A11、A12、A21和A22分别为串声消除矩阵A的矩阵元素。同时，在串声消除矩阵A作用于考虑串扰的情况下的环绕声源信号时，可得到：
Figure BDA0003009708560000122
在本实施例的一个实现方式，在获取串声消除矩阵时，通过多播放端来虚拟多声源的信号时，由上述声源信号的矩阵表达式可以知道，此时需要求解n*m阶矩阵的逆，其中，n为串声消除矩阵A的行数，m为串声消除矩阵A的列数。本实施例中，考虑2声源的情况，n＝m＝2，则串声消除矩阵A的计算方式如以下公式所示：
Figure BDA0003009708560000123
将通过上述式计算获得的串声消除矩阵作为去串扰滤波器可以消除双声道声音信号在传输过程中形成的串扰。
在一种实现方式中，当得到初始串声消除数据，本实施例需要对该初始串声消除数据进行修正，得到目标串声消除数据。具体地，对所述初始串声消除数据进行平滑处理，以得到目标串声消除数据。
所述平滑处理用于去除所述初始串声消除数据的不稳定性，所述目标串声消除数据为所述初始串声消除数据进行平衡处理后的初始串声消除数据。其中，所述目标串声消除数据使得获取到的双声道音频信号中存在稳定频点，例如，当某个频点f满足|α1(θ1,f)α2(θ2,f)-β1(θ1,f)β2(θ2,f)|≈0时，计算获得目标串声消除数据在该频点f处会出现无穷大的情况，从而影响双声道声音信号的音效效果。另外，当通过多阵列声道虚拟多声源的双声道声音信号时，需要求解n*m阶矩阵的逆或者伪逆，n为串声消除矩阵A的行数，m为串声消除矩阵A的列数；特别是当n不等于m时，求逆相当于解方程式和未知数数量不相等的方程组，可能有无穷多个解，也可能没有解，此时只能求得近似解，而近似解会影响虚拟环绕声的音效效果。
在本实施例的一个实现方式中，所述对所述初始串声消除数据进行平滑处理，以得到目标串声消除数据作具体包括：
获取所述目标声源对应的若干中心频率；
基于若干中心频率所述串声消除矩阵中的各矩阵元素进行平滑处理，以得到目标串声消除数据。
具体地，若干中心频率中的每个中心频率均为目标方向性信号号中的一个频点的频率值，并且若干中心频率中的每个中心频率对应的频点互不相同。例如，若干中心频率包括中心频率A和中心频率B，中心频率A对应目标方向性信号中的的频点a，中心频率B对应目标方向性信号中的频点b，那么频点a与频点b不相同。
在本实施例的一个实现方式中，所述获取所述目标方向性信号对应的若干中心频率具体包括：
将所述目标方向性信号划分为若干子声源信号；
对于若干子声源信号中的每个子声源信号，获取若干子声源信号中的各子声源信号的中心频点的频率值，以得到若干中心频率。
具体地，若干子声源信号中的每个子声源信号均为目标声源信号中的一个子带，并且各子声源信号各自对应的子带互不相同。在对所述目标声源信号进行划分时，可以基于预设的子带阈值进行划分，基于子带阈值将目标声源信号的频域划分为若干子带，以得到若干子声源信号，其中，所述子带阈值可以为预先设置的一个或多个频率阈值，可以根据实际需求进行设置和调整，在此不做具体限定。这样基于子带阈值待目标声源信号的频域划分为多个子带，并将各子带的中心频点的频率值作为中心频率，可以使得每个子带对应的频率相近，可以避免出现无穷大的频点。
在本实施例的一个具体实现方式中，在获取到若干中心频率，可以通过快速傅里叶变换或梅尔频谱等方法提取目标方向性信号的各个子带的特征，然后基于若干中心频率对，对上述初始串声消除数据中的每个信号频点进行均值滤波或中值滤波，还可以有其它平滑方式，在此不做具体限定。本实施例通过对求得的初始串声消除数据(即上述串声消除矩阵A)进行平滑调整，可以去除频点中的不稳定解，提高去串扰滤波器的稳定性，为用户提供更稳定的声音，从而提升音质。此外，在实际应用中，在将目标方向性信号划分为若干子音源信号后，可以分别对每个子音源信号进行平滑处理，这也可以分别对每个子带进行处理，以提高平滑处理的速度。
步骤S300、根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频信号。
在本实施例中，所述双声道音频信号为消除串扰的声源音频信号，其通过可以对目标方向性信号进行消除串扰得到，可以理解的是，可以通过将目标串声消除数据作用于目标方向性信号，来消除目标方向性信号中的串扰以得到双声道音频信号。
在一种实现方式中，如图4中所示，本实施例中的所述步骤S300具体包括如下步骤：
步骤S301、获取所述目标方向性信号中的各信号频点各自对应的目标权值，其中，所述目标方向性信号中至少存在两个信号频点，两个信号频点各自对应的目标权值不同；
步骤S302、基于各信号频点各自对应的目标权值以及所述目标串声消除数据对各信号频点进行调整，以得到所述目标声源所对应的双声道音频信号。
具体地，所述目标方向性信号中至少存在两个信号频点，两个信号频点各自对应的目标权值不同，例如，目标串声消除数据中至少存在第一信号频点和第二信号频点，其中，第一信号频点对应的目标权值和第二信号频点对应的目标权值不同。其中，各信号频点各自对应的目标权值可以为根据实验总结的结果预先设置，也可以根据实际需求进行设置和调整。
在一种实现方式中，本实施例中所述获取所述目标方向性信号中的各信号频点各自对应的目标权值具体包括：
基于预设的频率阈值确定所述目标方向性信号中的高频信号频点以及低频信号频点；
将第一权值作为各高频参信号频点各自对应的目标权值，并将第二权重作为各低频信号频点各自对应的目标权值，以得到各信号频点各自对应的目标权值。
具体地，预设的频率阈值是预先设置的用于划分高频和低频的阈值，可以根据实际需求进行设置和调整，本实施例中，可以设置为8000赫兹；所述高频信号频点为信号频点值大于频率阈值的信号频点，所述低频信号频点为信号频点值大于频率阈值的信号频点。这样通过为低频信号频点和高频信号频点配置不同的权值，可以通过调整高频信号频点和低频信号频点指向性性质而获得更好的音效。其中，第一权值和第二权值不同，并且第一权值和第二权值可以为预先设定的值，也可以为根据预先设定的公式和对应的元素的值计算获得的加权值，在此不做具体限定。
在一种实现方式中，本实施例在获取到各信号频点各自对应的目标权值之后，对于每个信号频点，可以将该信号频点以及所述目标串声消除数据相乘，并将相乘得到的乘积作为该信号频点对应的滤波系数，并采用该滤波系数对该信号频点进行滤波(例如，将所述滤波系数与所述信号频点相乘等)，以得到滤波后的各信号频点，并将滤波后的各信号频点构成的声源信号作为所述目标声源信号对应的双声道音频信号。
综上，本实施例首先获取目标声源所对应的目标方向性信号，由于所述目标方向性信号用于反映所述目标声源所对应的双声道声音信号的方向信息，因此根据该方向性信号可以大致确定出该目标声源的方向。接着，本实施例根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，所述目标串声消除数据用于对所述双声道声音信号进行串声消除，减少串声干扰。最后，本实施例根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频信号。由于本实施例的目标方向性信号已经确定出了该目标声源所对应的双声道声音信号的方向，而所述目标串声消除数据又对该双声道声音信号进行了串声消除，因此得到的双声道音频信号中不但携带有该双声道声音信号的方向信息，又保证影响声音信号的质量，这样当该双声道音频信号播放时，可让用户实时听到画面上不同位置的目标声源的真实方位，有利于营造出一种更为真实、更有沉浸感的观影效果。
示例性装置
如图5中所示，本实施例还提供一种双声道音频输出装置，该装置包括：方向性信号获取模块10、串声消除矩阵获取模块20以及双声道音频输出模块30。具体地，所述方向性信号获取模块10，用于获取目标声源所对应的目标方向性信号，所述目标方向性信号用于反映所述目标声源所对应的双声道声音信号的方向信息。所述串声消除矩阵获取模块20，用于根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，所述目标串声消除数据用于对所述双声道声音信号进行串声消除。所述双声道音频输出模块30，用于根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频。
在一种实现方式中，所述方向性信号获取模块10包括：
位置信息获取单元，用于获取所述目标声源的位置信息；
目标方向性信息获取单元，用于根据所述位置信息，确定所述目标声源的所述目标方向性信号。
在一种实现方式中，所述串声消除矩阵获取模块20包括：
播放位置获取单元，用于获取所述双声道声音信号所对应的播放位置信息，所述播放位置信息用于反映双扬声器所在的位置；
串声消除矩阵获取单元，用于根据所述播放位置信息与所述目标方向性信号，得到初始串声消除数据；
串声消除矩阵修正单元，用于对所述初始串声消除数据进行修正，得到所述目标串声消除数据。
在一种实现方式中，所述双声道音频输出模块30包括：
目标权值获取单元，用于获取所述目标方向性信号中的各信号频点各自对应的目标权值，其中，所述目标方向性信号中至少存在两个信号频点，两个信号频点各自对应的目标权值不同；
双声道音频信号确定单元，用于基于各信号频点各自对应的目标权值以及所述目标串声消除数据对各信号频点进行调整，以得到所述目标声源所对应的双声道音频信号。
基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图6所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种双声道音频输出方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的双声道音频信号输出程序，处理器执行双声道音频信号输出程序时，实现如下操作指令：
获取目标声源所对应的目标方向性信号，所述目标方向性信号用于反映所述目标声源所对应的双声道声音信号的方向信息；
根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，所述目标串声消除数据用于对所述双声道声音信号进行串声消除；
根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上，本发明公开了一种双声道音频输出方法、装置、终端设备及存储介质，所述方法包括：获取目标声源所对应的目标方向性信号，所述目标方向性信号用于反映所述目标声源所对应的双声道声音信号的方向信息；根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，所述目标串声消除数据用于对所述双声道声音信号进行串声消除；根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频信号。本发明可让用户听到图像上不同位置的声源的真实范围，有利于营造出一种更为真实、更有沉浸感的观影效果。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种双声道音频输出方法，其特征在于，所述方法包括：
获取目标声源所对应的目标方向性信号，所述目标方向性信号用于反映所述目标声源所对应的双声道声音信号的方向信息；
根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，所述目标串声消除数据用于对所述双声道声音信号进行串声消除；
根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频信号。
2.根据权利要求1所述的双声道音频输出方法，其特征在于，所述获取目标声源所对应的目标方向性信号，包括：
获取所述目标声源的位置信息；
根据所述位置信息，确定所述目标声源的所述目标方向性信号。
3.根据权利要求2所述的双声道音频输出方法，其特征在于，所述根据所述位置信息，确定所述目标声源的目标方向性信号，包括：
根据所述位置信息，利用预设的头相关变换函数，构造所述目标声源的初始方向性信号，其中，所述头相关变换函数用于反映空间中不同方位的声音到人耳的传输途径的空间传递函数；
对所述初始方向性信号进行修正，得到所述目标方向性信号。
4.根据权利要求3所述的双声道音频输出方法，其特征在于，所述对所述初始方向性信号进行修正，得到所述目标方向性信号，包括：
获取用户头部的正对方向信息，根据所述正对方向信息确定听音角度，所述听音角度用于反映用户听音的方向；
根据所述听音角度，对所述初始方向性信号进行修正，得到所述目标方向性信号。
5.根据权利要求1所述的双声道音频输出方法，其特征在于，所述根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，包括：
获取所述双声道声音信号所对应的播放位置信息，所述播放位置信息用于反映双扬声器所在的位置；
根据所述播放位置信息与所述目标方向性信号，得到初始串声消除数据；
对所述初始串声消除数据进行修正，得到所述目标串声消除数据。
6.根据权利要求5所述的双声道音频输出方法，其特征在于，所述根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频信号，包括：
获取所述目标方向性信号中的各信号频点各自对应的目标权值，其中，所述目标方向性信号中至少存在两个信号频点，两个信号频点各自对应的目标权值不同；
基于各信号频点各自对应的目标权值以及所述目标串声消除数据对各信号频点进行调整，以得到所述目标声源所对应的双声道音频信号。
7.根据权利要求6所述的双声道音频信号输出方法，其特征在于，所述获取所述目标方向性信号中的各信号频点各自对应的目标权，包括：
基于预设的频率阈值确定所述目标方向性信号中的高频信号频点以及低频信号频点；
将第一权值作为各高频参信号频点各自对应的目标权值，并将第二权重作为各低频信号频点各自对应的目标权值，以得到各信号频点各自对应的目标权值。
8.一种双声道音频信号输出装置，其特征在于，所述装置包括：
方向性信号获取模块，用于获取目标声源所对应的目标方向性信号，所述目标方向性信号用于反映所述目标声源所对应的双声道声音信号的方向信息；
串声消除矩阵获取模块，用于根据所述目标方向性信号，获取所述目标声源所对应的目标串声消除数据，所述目标串声消除数据用于对所述双声道声音信号进行串声消除；
双声道音频信号输出模块，用于根据所述目标方向性信号与所述目标串声消除数据，输出双声道音频信号。
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的双声道音频信号输出程序，所述处理器执行所述双声道音频信号输出程序时，实现如权利要求1-7任一项所述的双声道音频输出方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有双声道音频信号输出程序，所述双声道音频信号输出程序被处理器执行时，实现如权利要求1-7任一项所述的双声道音频输出方法的步骤。
CN202110372173.6A 2021-04-07 2021-04-07 一种双声道音频输出方法、装置、终端设备及存储介质 Pending CN115190411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110372173.6A CN115190411A (zh) 2021-04-07 2021-04-07 一种双声道音频输出方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110372173.6A CN115190411A (zh) 2021-04-07 2021-04-07 一种双声道音频输出方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN115190411A true CN115190411A (zh) 2022-10-14

Family

ID=83511517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110372173.6A Pending CN115190411A (zh) 2021-04-07 2021-04-07 一种双声道音频输出方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN115190411A (zh)

Similar Documents

Publication Publication Date Title
US9167344B2 (en) Spectrally uncolored optimal crosstalk cancellation for audio through loudspeakers
US8194868B2 (en) Loudspeaker system for virtual sound synthesis
US9232336B2 (en) Head related transfer function generation apparatus, head related transfer function generation method, and sound signal processing apparatus
US9008338B2 (en) Audio reproduction apparatus and audio reproduction method
JP5448451B2 (ja) 音像定位装置、音像定位システム、音像定位方法、プログラム、及び集積回路
US10959035B2 (en) System, method, and apparatus for generating and digitally processing a head related audio transfer function
US9877131B2 (en) Apparatus and method for enhancing a spatial perception of an audio signal
US10667071B2 (en) Low complexity multi-channel smart loudspeaker with voice control
CN108632714B (zh) 扬声器的声音处理方法、装置及移动终端
KR100647338B1 (ko) 최적 청취 영역 확장 방법 및 그 장치
KR102105543B1 (ko) 사운드 시스템
KR20160001712A (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
EP3783609A1 (en) Differential beamforming method and module, signal processing method and apparatus, and chip
CN107995558B (zh) 音效处理方法及装置
US10681487B2 (en) Acoustic signal processing apparatus, acoustic signal processing method and program
US10440495B2 (en) Virtual localization of sound
CN113039813B (zh) 串扰消除滤波器组以及提供串扰消除滤波器组的方法
CN115190411A (zh) 一种双声道音频输出方法、装置、终端设备及存储介质
EP2612437B1 (en) Spectrally uncolored optimal crosstalk cancellation for audio through loudspeakers
CN113645531B (zh) 一种耳机虚拟空间声回放方法、装置、存储介质及耳机
CN115002649A (zh) 声场均衡调整方法、装置、设备和计算机可读存储介质
WO2021203474A1 (zh) 微型扬声器阵列、车内声场控制方法及装置、存储装置
KR100307622B1 (ko) 위치 조절이 가능한 가상 음상을 이용한 오디오 재생 장치 및그 방법
CN110719564B (zh) 音效处理方法和装置
CN115150732A (zh) 环绕音效的生成方法、装置、智能终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination