CN107968984B - 一种5-2通道音频转换优化方法 - Google Patents

一种5-2通道音频转换优化方法 Download PDF

Info

Publication number
CN107968984B
CN107968984B CN201610916256.6A CN201610916256A CN107968984B CN 107968984 B CN107968984 B CN 107968984B CN 201610916256 A CN201610916256 A CN 201610916256A CN 107968984 B CN107968984 B CN 107968984B
Authority
CN
China
Prior art keywords
channel
signal
coordinate
audio
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610916256.6A
Other languages
English (en)
Other versions
CN107968984A (zh
Inventor
李军锋
孙兴伟
杨磊
王立众
夏日升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Acoustics CAS
Beijing Samsung Telecommunications Technology Research Co Ltd
Original Assignee
Institute of Acoustics CAS
Beijing Samsung Telecommunications Technology Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Acoustics CAS, Beijing Samsung Telecommunications Technology Research Co Ltd filed Critical Institute of Acoustics CAS
Priority to CN201610916256.6A priority Critical patent/CN107968984B/zh
Publication of CN107968984A publication Critical patent/CN107968984A/zh
Application granted granted Critical
Publication of CN107968984B publication Critical patent/CN107968984B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/09—Electronic reduction of distortion of stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种5‑2通道音频转换优化方法，所述方法包括：步骤1)将五通道音频下降混合到两通道；步骤2)在频域上将五通道音频以及两通道音频的声场进行归一化映射，得到两者声场的方向向量表示；步骤3)利用归一化之后两个方向向量的差值对两通道音频的幅度和相角进行校正；步骤4)将校正之后的双通道信号的幅度和相角重新组合形成每个频带内的复数值，然后再转换成时域信号，得到处理后两通道音频。通过本发明的方法得到的双声道的声场更接近五通道声场，从而保持原有的良好空间听觉感受。

Description

一种5-2通道音频转换优化方法
技术领域
本发明涉及音频处理技术领域；特别涉及一种5-2通道音频转换优化方法，该方法采用相关性抑制和空间信息校正处理减少下降混合之后的音色失真和空间信息损失，以保持原音频良好的听音感受。
背景技术
随着数字信号处理技术和高性能计算机的快速发展，虚拟现实(VR)技术已成为目前被广泛研究的热门课题，其中的3D音频技术也吸引了越来越多的研究。尽管3D音频有多种创建方法(例如，多通道的方法和基于对象的方法)，目前在VR中最常用的还是用耳机进行重放。要在现有的VR设备环境中重现3D音频内容，一种多通道到双声道下降混合的技术就亟需解决。
目前，一些多通道到双声道的下降混合方法已经被提出(见参考文献[1]：KubaLopatka,et al.:Novel 5.1downmix algorithm with improved dialogueintelligibility.Audio Engineering Society.(2013))；如ITU推荐的方法(见参考文献[2]：ITU:ITU-R Recommendation BS.775-1,Multichannel stereophonic soundsystemwith and without accompanying picture.(1994))、杜比定向逻辑(见参考文献[3]：Digital Audio Compression Standard(AC-3,E-AC-3).(2010))；以及矩阵下降混合的方法(见参考文献[4]：C.Faller and P.Schillebeeckx:Improved ITU and MatrixSurround Downmixing.Audio Engineering Society.(2011))等。
在这些传统的方法中，通常利用固定的公式将不同的通道进行组合，这种处理方式会导致下降混合后的声音的音色失真和空间信息缺失。例如矩阵下降混合方法的实现过程可以由下式给出：
L＝FL+0.7071·C+j·(cosα·Ls+sinα·Rs)(1)
R＝FR+0.7071·C-j·(sinα·Ls+cosα·Rs)(2)
其中j代表90度相移、α通常为30-35度。
在传统的下降混合方法中，频谱和音色的变化主要由以下原因引起：下降混合公式的前两项(即，公式(1)中的FL和C，公式(2)中的FR和C)可能具有内容相似但具有相移的信号成分，这就会导致在下降混合之后的信号中产生梳状滤波现象，由此导致了频谱和音色的失真。另一方面传统的下降混合方法采用固定系数和混合公式将五个通道的信号混合到两个输出通道中，原信号中的空间位置信息就会体现在下降混合之后信号的振幅和相位特性中，由于忽视了原有信号的中的已经存在的空间位置关系，就可能导致下降之后的信号中的空间信息内容受损。
发明内容
本发明的目的在于为了解决现有技术中多通道到双声道下降混合方法中存在的上述问题，基于相关性抑制和空间信息校正，提出了一种5-2通道音频转换优化方法；该方法在相关性抑制处理部分，通过抑制前方两个通道混合时两者的相关部分达到减少梳状滤波从而减少音色失真的目的；在空间校正处理中，将五通道的声场和两通道的声场进行归一化的映射，通过比较两者的差异对两通道声场的通道间幅度差(Inter-Channel LevelDifference,ICLD)和通道间相位差(Inter-Channel Phase Difference,ICPD)特性进行修正，使其声场更接近与五通道声场，从而保持原有的良好空间听觉感受。通过观察下降混合信号的频谱图和非正式的测听实验可以证明该方法非常有效。
为了实现上述目的，本发明提供了一种5-2通道音频转换优化方法，所述方法包括：
步骤1)将五通道音频下降混合到两通道；
步骤2)在频域上将五通道音频以及两通道音频的声场进行归一化映射，得到两者声场的方向向量表示；
步骤3)利用归一化之后两个方向向量的差值对两通道音频的幅度和相角进行校正；
步骤4)将校正之后的双通道信号的幅度和相角重新组合形成每个频带内的复数值，然后再转换成时域信号，得到处理后两通道音频。
上述技术方案中，所述步骤2)具体包括：
步骤2-1)将原始5.1通道信号映射到了归一化的二维平面上；
其中，后方左通道坐标(XLS,YLS)被分配到原点，后方右通道坐标(XRS,YRS)被分配到(1，0)，前方右通道坐标(XR,YR)被分配给(1，1)，前方左通道坐标(XL,YL)被分配到(0，1)，中间通道坐标(XC,YC)被分配到(0.5，1)；二维平面的声像位置矢量P(F)用下列矢量方程表示：
P(F)＝ML(F)*(XL,YL)+MR(F)*(XR,YR)+MC(F)*(XC,YC)
+MLS(F)*(XLS,YLS)+MRS(F)*(XRS,YRS) (6)
其中，ML(F)、MR(F)、MC(F)、MLS(F)和MRS(F)分别为前方左通道、前方右通道、中间通道、后方左通道和后方右通道的归一化幅度值；
步骤2-2)将下降混合的双通道信号映射到了归一化的二维平面上；
下降混合之后的双通道信号的映射坐标计算公式为：
其中，XD(f)和YD(f)分别为双通道信号映射到二维平面上的X轴和Y轴坐标值，|DL(f)|和|DR(f)|分别为左通道和右通道的各频带的幅值，arg(DL(f))和arg(DR(f))分别为左通道和右通道的各频带的相角。
上述技术方案中，所述步骤3)的具体实现过程为：
其中，|DL‘(f)|、|DR‘(f)|和arg(DL‘(f))、arg(DR‘(f))分别是校正之后左右通道的幅值和相位，PX(F)和PY(F)为P(F)的X坐标和Y坐标。
上述技术方案中，所述步骤4)的具体实现过程为：
其中，j2＝-1，和表示校正之后的双通道信号的左右通道信号频域值；
将和转换成时域信号，得到处理后的双通道音频。
本发明的优势在于：
1、通过本发明的方法得到的双声道的声场更接近五通道声场，从而保持原有的良好空间听觉感受；
2、经过本发明的方法处理得到的下降混合后的两通道音频在音色以及空间信息准确性方面优于传统的方法。
附图说明
图1为本发明的5-2通道音频转换优化方法的流程图；
图2为5.1通道信号映射的二维平面；
图3为双通道信号映射的二维平面。
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细的说明。
如图1所示，一种5-2通道音频转换优化方法，所述方法包括：
步骤1)将五通道音频下降混合到两通道；
在本实施例中，采用增加相关性抑制处理的矩阵下降混合方法将五通道音频下降混合到两通道，该方法属于现有技术；相关性抑制处理部分主要用于使下降混合后信号的频谱和音色失真最小。由于在公式(1)中的前两项具有一定的相关性的，在其相加的时候应该进一步处理，来减少频谱和音色的失真。相关性抑制处理的基本思想是抑制两个通道中的相关部分，通过一个滤波器分离出两者的相关部分和不相关部分，然后在混合处理中去除其中一个通道中的两者相关部分，同时为了保持整体能量不变，需要一个均衡因子对整体能量进行控制。
步骤2)在频域上将五通道音频以及两通道音频的声场进行归一化映射，得到两者声场的方向向量表示；
空间信息校正处理部分主要用于检测每个频带在下降混合中出现的空间信息错误。通过修改下降混合之后信号的每个频带中ICLD和ICPD特征，可以使下降混合信号的空间信息与原始信号一致。为了比较原始5.1通道信号和下降混合的双通道信号的空间信息特征，可以将这两个信号映射到的归一化的二维平面上。
步骤2)具体包括：
步骤2-1)将原始5.1通道信号映射到了归一化的二维平面上；
5.1通道信号表示为一个归一化的位置矢量，其映射平面可表示为以左右位置为横轴以前后位置为纵轴的二维平面。如图2所示，后方左通道坐标(XLS,YLS)被分配到原点，后方右通道坐标(XRS,YRS)被分配到(1，0)，前方右通道坐标(XR,YR)被分配给(1，1)，前方左通道坐标(XL,YL)被分配到(0，1)，中间通道坐标(XC,YC)被分配到(0.5，1)。这些坐标都是由扬声器在物理空间中的位置确定的。
二维平面上的声像的位置矢量P(F)可以在每个频带中进行计算，可以用下列矢量方程表示：
P(F)＝ML(F)*(XL,YL)+MR(F)*(XR,YR)+MC(F)*(XC,YC)
+MLS(F)*(XLS,YLS)+MRS(F)*(XRS,YRS) (6)
其中，即ML(F)、MR(F)、MC(F)、MLS(F)和MRS(F)分别为前方左通道、前方右通道、中间通道、后方左通道和后方右通道的归一化幅度值。因此，在每个频带中可以用位置矢量P(F)来表示声像的位置。
步骤2-2)将下降混合的双通道信号映射到了归一化的二维平面上；
对于下降混合之后的双通道信号，ICLD和ICPD的特征常用于对声场的表示。如图3中，下降混合之后的声场可以映射到归一化的二维平面，其中ICLD特性被映射到X轴，ICPD特性被映射到Y轴。
下降混合之后的双通道信号的映射坐标计算可以用下面的公式计算得出：
其中，XD(f)和YD(f)分别为双通道信号映射到二维平面上的X轴和Y轴坐标值，|DL(f)|和|DR(f)|分别为左通道和右通道的各频带的幅值，arg(DL(f))和arg(DR(f))分别为左通道和右通道的各频带的相角。
步骤3)利用归一化之后两个方向向量的差值对两通道音频的ICLD和ICPD特性进行校正；
通过XD(f)与P(F)的X坐标的每个频带的偏差对ICLD的进行校正，通过YD(f)与P(F)的Y坐标的每个频带的偏差对ICPD的进行校正。如下式：
其中，|DL‘(f)|、|DR‘(f)|和arg(DL‘(f))、arg(DR‘(f))分别是校正之后左右通道的幅值和相位，PX(F)和PY(F)为P(F)的X坐标和Y坐标。
步骤4)将校正之后的双通道信号的幅度和相角重新组合形成每个频带内的复数值，如下式：
其中，j2＝-1，和表示校正之后的双通道信号的左右通道信号频域值，然后再转换成时域信号，得到处理后的两通道音频。

Claims (2)

1.一种5-2通道音频转换优化方法，所述方法包括：
步骤1)将五通道音频下降混合到两通道；
步骤2)在频域上将五通道音频以及两通道音频的声场进行归一化映射，得到两者声场的方向向量表示；
步骤3)对两通道音频的通道幅度和通道相角进行校正；
步骤4)将校正之后的双通道信号的幅度和相角重新组合形成每个频带内的复数值，然后再转换成时域信号，得到处理后两通道音频；
所述步骤2)具体包括：
步骤2-1)将原始5.1通道信号映射到了归一化的二维平面上；
5.1通道信号表示为一个归一化的位置矢量，其映射平面表示为以左右位置为横轴以前后位置为纵轴的二维平面；其中，后方左通道坐标(XLS，YLS)被分配到原点，后方右通道坐标(XRS，YRS)被分配到(1，0)，前方右通道坐标(XR，YR)被分配给(1，1)，前方左通道坐标(XL，YL)被分配到(0，1)，中间通道坐标(XC，YC)被分配到(0.5，1)；二维平面的声像位置矢量P(F)用下列矢量方程表示：
P(F)＝ML(F)*(XL，YL)+MR(F)*(XR，YR)+MC(F)*(XC，YC)
+MLS(F)*(XLS，YLS)+MRS(F)*(XRS，YRS) (6)
其中，ML(F)、MR(F)、MC(F)、MLS(F)和MRS(F)分别为前方左通道、前方右通道、中间通道、后方左通道和后方右通道的归一化幅度值；
步骤2-2)将下降混合的双通道信号映射到了归一化的二维平面上；
下降混合之后的双通道信号的映射坐标计算公式为：
其中，XD(f)和YD(f)分别为双通道信号映射到二维平面上的X轴和Y轴坐标值，|DL(f)|和|DR(f)|分别为左通道和右通道的各频带的幅值，arg(DL(f))和arg(DR(f))分别为左通道和右通道的各频带的相角；
所述步骤3)的具体实现过程为：
其中，|DL‘(f)|、|DR‘(f)|和arg(DL‘(f))、arg(DR‘(f))分别是校正之后左右通道的幅值和相位，PX(F)和PY(F)为P(F)的X坐标和Y坐标。
2.根据权利要求1所述的5-2通道音频转换优化方法，其特征在于，所述步骤4)的具体实现过程为：
其中，j2＝-1，和表示校正之后的双通道信号的左右通道信号频域值；
将和转换成时域信号，得到处理后的双通道音频。
CN201610916256.6A 2016-10-20 2016-10-20 一种5-2通道音频转换优化方法 Expired - Fee Related CN107968984B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610916256.6A CN107968984B (zh) 2016-10-20 2016-10-20 一种5-2通道音频转换优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610916256.6A CN107968984B (zh) 2016-10-20 2016-10-20 一种5-2通道音频转换优化方法

Publications (2)

Publication Number Publication Date
CN107968984A CN107968984A (zh) 2018-04-27
CN107968984B true CN107968984B (zh) 2019-08-20

Family

ID=61997345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610916256.6A Expired - Fee Related CN107968984B (zh) 2016-10-20 2016-10-20 一种5-2通道音频转换优化方法

Country Status (1)

Country Link
CN (1) CN107968984B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110881164B (zh) * 2018-09-06 2021-01-26 宏碁股份有限公司 增益动态调节的音效控制方法及音效输出装置
TWI692719B (zh) * 2019-03-21 2020-05-01 瑞昱半導體股份有限公司 音訊處理方法與音訊處理系統

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1200009A (zh) * 1997-05-20 1998-11-25 日本胜利株式会社 处理音频环绕信号的系统
JP2009512892A (ja) * 2005-10-20 2009-03-26 エルジー エレクトロニクス インコーポレイティド マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置
CN101533641A (zh) * 2009-04-20 2009-09-16 华为技术有限公司 对多声道信号的声道延迟参数进行修正的方法和装置
CN101884065A (zh) * 2007-10-03 2010-11-10 创新科技有限公司 用于双耳再现和格式转换的空间音频分析和合成
CN104703111A (zh) * 2013-12-09 2015-06-10 中国科学院声学研究所 一种房间混响合成方法
CN105812986A (zh) * 2016-05-09 2016-07-27 中山奥凯华泰电子有限公司 将多声道缩混成无线两声道的音箱和处理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
WO2014126688A1 (en) * 2013-02-14 2014-08-21 Dolby Laboratories Licensing Corporation Methods for audio signal transient detection and decorrelation control

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1200009A (zh) * 1997-05-20 1998-11-25 日本胜利株式会社 处理音频环绕信号的系统
JP2009512892A (ja) * 2005-10-20 2009-03-26 エルジー エレクトロニクス インコーポレイティド マルチチャンネルオーディオ信号の符号化及び復号化方法とその装置
CN101884065A (zh) * 2007-10-03 2010-11-10 创新科技有限公司 用于双耳再现和格式转换的空间音频分析和合成
CN101533641A (zh) * 2009-04-20 2009-09-16 华为技术有限公司 对多声道信号的声道延迟参数进行修正的方法和装置
CN104703111A (zh) * 2013-12-09 2015-06-10 中国科学院声学研究所 一种房间混响合成方法
CN105812986A (zh) * 2016-05-09 2016-07-27 中山奥凯华泰电子有限公司 将多声道缩混成无线两声道的音箱和处理方法

Also Published As

Publication number Publication date
CN107968984A (zh) 2018-04-27

Similar Documents

Publication Publication Date Title
US8638947B2 (en) Angle-dependent operating device or method for generating a pseudo-stereophonic audio signal
US10986455B2 (en) Method for and apparatus for decoding/rendering an ambisonics audio soundfield representation for audio playback using 2D setups
JP2020039148A (ja) オーディオ再生のためのオーディオ音場表現のデコードのための方法および装置
CN104010264B (zh) 双声道音频信号处理的方法和装置
JP6198800B2 (ja) 少なくとも２つの出力チャネルを有する出力信号を生成するための装置および方法
JP6187626B1 (ja) 収音装置及びプログラム
US20060106620A1 (en) Audio spatial environment down-mixer
US20060093152A1 (en) Audio spatial environment up-mixer
US8873762B2 (en) System and method for efficient sound production using directional enhancement
JP2008519491A (ja) 音響空間環境エンジン
US20070223740A1 (en) Audio spatial environment engine using a single fine structure
JP6660982B2 (ja) オーディオ信号レンダリング方法及び装置
KR101871234B1 (ko) 사운드 파노라마 생성 장치 및 방법
US20160269847A1 (en) Method and apparatus for downmixing a multichannel signal and for upmixing a downmix signal
CN107968984B (zh) 一种5-2通道音频转换优化方法
CN107113496A (zh) 移动设备的环绕声记录
US20150326988A1 (en) Production of 3D Audio Signals
Jot et al. Efficient Structures for Virtual Immersive Audio Processing
CN104735588B (zh) 处理声音信号的方法和终端设备
CN108966110B (zh) 声音信号处理方法、装置及系统、终端及存储介质
JP7362320B2 (ja) オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
US9628932B2 (en) Method for processing a multichannel sound in a multichannel sound system
Iida et al. Generation of the Individual Head-Related Transfer Functions in the Upper Median Plane Based on the Anthropometry of the Listener’s Pinnae
Zhong et al. Directional loudness in the median plane
Lu et al. 3D sound effect enhancement of front and back

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190820