CN106412792B - 对原立体声文件重新进行空间化处理并合成的系统及方法 - Google Patents
对原立体声文件重新进行空间化处理并合成的系统及方法 Download PDFInfo
- Publication number
- CN106412792B CN106412792B CN201610802759.0A CN201610802759A CN106412792B CN 106412792 B CN106412792 B CN 106412792B CN 201610802759 A CN201610802759 A CN 201610802759A CN 106412792 B CN106412792 B CN 106412792B
- Authority
- CN
- China
- Prior art keywords
- spatialization
- processing
- extraction
- module
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 238000010183 spectrum analysis Methods 0.000 claims abstract description 25
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 7
- 230000004807 localization Effects 0.000 claims abstract description 6
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 6
- 238000011002 quantification Methods 0.000 claims description 5
- 238000011282 treatment Methods 0.000 claims description 5
- 230000003313 weakening effect Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 238000010189 synthetic method Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000013139 quantization Methods 0.000 claims description 2
- 230000003362 replicative effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Stereophonic System (AREA)
Abstract
本发明涉及一种对原立体声文件重新进行空间化处理并合成的系统及方法，所述系统包括：频谱分析模块，用于对原立体声音频文件进行频谱分析；声部提取模块，用于提取经频谱分析后的音频文件中的主要声部和次要声部；空间化处理模块，用于对提取的各声部进行空间化处理，所述空间化处理包括空间化定位处理和空间化移动处理；终混模块，用于对经空间化处理后的所有声部进行合成导出。与现有技术相比，本发明具有立体声文件空间化效果好、方法便捷易操作实现等优点。
Description
技术领域
本发明涉及音频信号空间化处理领域，尤其是涉及一种对原立体声文件重新进行空间化处理并合成的系统及方法。
背景技术
近年来，随着VR、虚拟现实、电影、游戏娱乐、多媒体展厅的崛起，空间化声音处理逐步成为音乐或者声音领域的关注重点。但是，目前的空间化处理都是使用单个音色作为音源进行空间化处理，无法将原有的立体声音频文件重新进行分声部自定义的空间化定义及处理。因此，大批量的原立体声音频文件就无法应用在空间化要求较高的领域。
究其原因，主要有二大技术瓶颈：
空间化处理中声部处理的难点。对原有立体声音频文件进行整体声部的空间化处理，会产生音乐声部层次不清、声部间空间感不明显、音乐整体混响过大等问题。目前的已知技术或系统无法解决此问题，因此也就无法达到良好的应用效果。
空间化处理中频段处理的难点。对原有立体声音频文件进行全频段统一的空间化处理，会产生空间化效果不明显、频段拥挤等问题。目前的已知技术或系统无法解决此问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种对原立体声文件重新进行空间化处理并合成的系统及方法。
本发明的目的可以通过以下技术方案来实现：
一种对原立体声文件重新进行空间化处理并合成的系统，包括：
频谱分析模块，用于对原立体声音频文件进行频谱分析；
声部提取模块，用于提取经频谱分析后的音频文件中的主要声部和次要声部；
空间化处理模块，用于对提取的各声部进行空间化处理，所述空间化处理包括空间化定位处理和空间化移动处理；
终混模块，用于对经空间化处理后的所有声部进行合成导出。
所述声部提取模块包括：
频率范围选择单元，用于根据所述频谱分析模块的结果选择需要提取或消除的主要声部所在的频率范围；
次要声部提取单元，用于对所选定的频率范围的波形进行相位反转处理，消除主要声部，获得次要声部；
主要声部提取单元，用于对所提取的次要声部的波形进行相位反转处理，提取主要声部；
量化处理单元，用于对提取的所述主要声部和次要声部分别进行EQ量化处理。
所述空间化处理模块包括：
空间化关系处理单元，用于对声部提取模块提取的所述主要声部和次要声部进行空间化关系处理，所述空间化关系包括远近关系和前后关系；
次要声部复制单元，用于复制多个次要声部音频轨至空间中的不同方位；
空间感形成单元，用于对不同方位中的各频段、各音色分别进行提升或削弱处理，形成不同空间感，所述空间感包括360度包围感、半包围感或上下空间感。
所述频谱分析模块、声部提取模块、空间化处理模块和终混模块在计算机上实现或在云服务平台上实现。
一种对原立体声文件重新进行空间化处理并合成的方法，包括以下步骤：
1)对原立体声音频文件进行频谱分析；
2)提取经频谱分析后的音频文件中的主要声部和次要声部；
3)对提取的各声部进行空间化处理，所述空间化处理包括空间化定位处理和空间化移动处理；
4)对经空间化处理后的所有声部进行合成导出。
所述步骤2)具体为：
21)根据所述频谱分析的结果选择需要提取或消除的主要声部所在的频率范围；
22)对所选定的频率范围的波形进行相位反转处理，消除主要声部，获得次要声部；
23)对所提取的次要声部的波形进行相位反转处理，提取主要声部；
24)对提取的所述主要声部和次要声部分别进行EQ量化处理。
所述步骤3)具体为：
31)对声部提取模块提取的所述主要声部和次要声部进行空间化关系处理，所述空间化关系包括远近关系和前后关系；
32)复制多个次要声部音频轨至空间中的不同方位；
33)对不同方位中的各频段、各音色分别进行提升或削弱处理，形成不同空间感，所述空间感包括360度包围感、半包围感或上下空间感。
与现有技术相比，本发明具有以下优点：
(1)本发明通过声部提取、EQ处理等技术手段，使原有立体声音频文件可以将不同声部定位于在不同的空间中，因此能获得声部间清晰的空间感、声部层次在空间中定位准确。
(2)本发明在空间化处理时采用分频针对性处理，参考频谱分析得出的结果，对原立体声音频文件中不同的频率采用不同的处理，如对于高频主要采用响度差定位，对于低频主要采用时间差定位等技术手段，产生的空间化效果非常明显。
(3)本发明可独立对原有立体声音频文件的主要声部做360度空间化移动处理，可灵活的应用于不同的需求。
附图说明
图1为本发明的结构示意图；
图2为本发明声部提取的流程示意图；
图3为本发明空间化处理的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本实施例提供一种对原立体声文件重新进行空间化处理并合成的系统，包括依次连接的频谱分析模块1、声部提取模块2、空间化处理模块3和终混模块，各模块进行空间化处理的过程是：频谱分析模块1对原立体声音频文件进行频谱分析，以方便对原立体声音频文件中不同的频率采用不同的处理，如对于高频主要采用响度差定位，对于低频主要采用时间差定位等技术手段，以加强空间化效果；声部提取模块2提取经频谱分析后的音频文件中的主要声部和次要声部；空间化处理模块3对提取的各声部进行空间化处理，所述空间化处理包括空间化定位处理和空间化移动处理；终混模块4对经空间化处理后的所有声部进行合成导出。上述频谱分析模块、声部提取模块、空间化处理模块和终混模块可在计算机上实现，也可在云服务平台上实现。
如图2所示，声部提取模块2的具体流程包括：
步骤s11，根据所述频谱分析模块的结果选择需要提取或消除的主要声部所在的频率范围；
步骤s12，对所选定的频率范围的波形进行相位反转处理，消除主要声部，获得次要声部(或伴奏声部)；
步骤s13，对所提取的次要声部(或伴奏声部)的波形进行相位反转处理，提取主要声部(或歌曲中的主唱)；
步骤s14，对提取的所述主要声部和次要声部分别进行EQ量化处理。
如图3所示，空间化处理模块3的具体流程包括：
步骤s21，对声部提取模块提取的所述主要声部和次要声部进行空间化关系处理，所述空间化关系包括远近关系和前后关系；
步骤s22，复制多个次要声部音频轨至空间中的不同方位；
步骤s23，对不同方位中的各频段、各音色分别进行提升或削弱处理，形成不同空间感，所述空间感包括360度包围感、半包围感或上下空间感。
Claims (5)
1.一种对原立体声文件重新进行空间化处理并合成的系统，其特征在于，包括：
频谱分析模块，用于对原立体声音频文件进行频谱分析；
声部提取模块，用于提取经频谱分析后的音频文件中的主要声部和次要声部；
空间化处理模块，用于对提取的各声部进行空间化处理，所述空间化处理包括空间化定位处理和空间化移动处理；
终混模块，用于对经空间化处理后的所有声部进行合成导出；
所述声部提取模块包括：
频率范围选择单元，用于根据所述频谱分析模块的结果选择需要提取或消除的主要声部所在的频率范围；
次要声部提取单元，用于对所选定的频率范围的波形进行相位反转处理，消除主要声部，获得次要声部；
主要声部提取单元，用于对所提取的次要声部的波形进行相位反转处理，提取主要声部；
量化处理单元，用于对提取的所述主要声部和次要声部分别进行EQ量化处理。
2.根据权利要求1所述的对原立体声文件重新进行空间化处理并合成的系统，其特征在于，所述空间化处理模块包括：
空间化关系处理单元，用于对声部提取模块提取的所述主要声部和次要声部进行空间化关系处理，所述空间化关系包括远近关系和前后关系；
次要声部复制单元，用于复制多个次要声部音频轨至空间中的不同方位；
空间感形成单元，用于对不同方位中的各频段、各音色分别进行提升或削弱处理，形成不同空间感，所述空间感包括360度包围感、半包围感或上下空间感。
3.根据权利要求1所述的对原立体声文件重新进行空间化处理并合成的系统，其特征在于，所述频谱分析模块、声部提取模块、空间化处理模块和终混模块在计算机上实现或在云服务平台上实现。
4.一种对原立体声文件重新进行空间化处理并合成的方法，其特征在于，包括以下步骤：
1)对原立体声音频文件进行频谱分析；
2)提取经频谱分析后的音频文件中的主要声部和次要声部；
3)对提取的各声部进行空间化处理，所述空间化处理包括空间化定位处理和空间化移动处理；
4)对经空间化处理后的所有声部进行合成导出；
所述步骤2)具体为：
21)根据所述频谱分析的结果选择需要提取或消除的主要声部所在的频率范围；
22)对所选定的频率范围的波形进行相位反转处理，消除主要声部，获得次要声部；
23)对所提取的次要声部的波形进行相位反转处理，提取主要声部；
24)对提取的所述主要声部和次要声部分别进行EQ量化处理。
5.根据权利要求4所述的对原立体声文件重新进行空间化处理并合成的方法，其特征在于，所述步骤3)具体为：
31)对声部提取模块提取的所述主要声部和次要声部进行空间化关系处理，所述空间化关系包括远近关系和前后关系；
32)复制多个次要声部音频轨至空间中的不同方位；
33)对不同方位中的各频段、各音色分别进行提升或削弱处理，形成不同空间感，所述空间感包括360度包围感、半包围感或上下空间感。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610802759.0A CN106412792B (zh) | 2016-09-05 | 2016-09-05 | 对原立体声文件重新进行空间化处理并合成的系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610802759.0A CN106412792B (zh) | 2016-09-05 | 2016-09-05 | 对原立体声文件重新进行空间化处理并合成的系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106412792A CN106412792A (zh) | 2017-02-15 |
| CN106412792B true CN106412792B (zh) | 2018-10-30 |
Family
ID=57999759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610802759.0A Active CN106412792B (zh) | 2016-09-05 | 2016-09-05 | 对原立体声文件重新进行空间化处理并合成的系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106412792B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112351379B (zh) * | 2020-10-28 | 2021-07-30 | 歌尔光学科技有限公司 | 音频组件的控制方法以及智能头戴设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101842834A (zh) * | 2007-10-12 | 2010-09-22 | 弗劳恩霍夫应用研究促进协会 | 包括语音信号处理在内的生成多声道信号的设备和方法 |
| CN101889308A (zh) * | 2007-10-04 | 2010-11-17 | 创新科技有限公司 | 用于从两声道音频信号进行环境提取的基于相关的方法 |
| CN101889307A (zh) * | 2007-10-04 | 2010-11-17 | 创新科技有限公司 | 相位-幅度3d立体声编码器和解码器 |
| CN104837106A (zh) * | 2015-05-25 | 2015-08-12 | 上海音乐学院 | 一种用于空间化声音的音频信号处理方法及装置 |
| CN105409247A (zh) * | 2013-03-05 | 2016-03-16 | 弗劳恩霍夫应用研究促进协会 | 用于音频信号处理的多声道直接-周围分解的装置及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8705769B2 (en) * | 2009-05-20 | 2014-04-22 | Stmicroelectronics, Inc. | Two-to-three channel upmix for center channel derivation |
-
2016
- 2016-09-05 CN CN201610802759.0A patent/CN106412792B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101889308A (zh) * | 2007-10-04 | 2010-11-17 | 创新科技有限公司 | 用于从两声道音频信号进行环境提取的基于相关的方法 |
| CN101889307A (zh) * | 2007-10-04 | 2010-11-17 | 创新科技有限公司 | 相位-幅度3d立体声编码器和解码器 |
| CN101842834A (zh) * | 2007-10-12 | 2010-09-22 | 弗劳恩霍夫应用研究促进协会 | 包括语音信号处理在内的生成多声道信号的设备和方法 |
| CN105409247A (zh) * | 2013-03-05 | 2016-03-16 | 弗劳恩霍夫应用研究促进协会 | 用于音频信号处理的多声道直接-周围分解的装置及方法 |
| CN104837106A (zh) * | 2015-05-25 | 2015-08-12 | 上海音乐学院 | 一种用于空间化声音的音频信号处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106412792A (zh) | 2017-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102100009B (zh) | 处理音频信号的方法和装置 | |
| RU2643644C2 (ru) | Кодирование и декодирование аудиосигналов | |
| EP3716654A1 (en) | Adaptive audio content generation | |
| US11610593B2 (en) | Methods and systems for processing and mixing signals using signal decomposition | |
| CN101542595B (zh) | 用于编码和解码基于对象的音频信号的方法和装置 | |
| EP3446309A1 (en) | Merging audio signals with spatial metadata | |
| KR20090104674A (ko) | 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치 | |
| MX2023005646A (es) | Aparato de audio y metodo de procesamiento de audio. | |
| CN102007532A (zh) | 用于处理音频信号的方法和装置 | |
| CN103903625A (zh) | 音频的混音方法和装置 | |
| CN112967705A (zh) | 一种混音歌曲生成方法、装置、设备及存储介质 | |
| CN106412792B (zh) | 对原立体声文件重新进行空间化处理并合成的系统及方法 | |
| CN107562745A (zh) | 一种音频播放列表的生成方法、系统及一种音频播放系统 | |
| Roma et al. | Music remixing and upmixing using source separation | |
| CN109640242A (zh) | 音频源分量及环境分量提取方法 | |
| Kraft et al. | Low-complexity stereo signal decomposition and source separation for application in stereo to 3D upmixing | |
| Rumsey | Spatial audio processing | |
| CN104488026A (zh) | 使用饱和参数调制将数据嵌入立体声音频中 | |
| Lagrange et al. | Semi-automatic mono to stereo up-mixing using sound source formation | |
| Zhu et al. | F0-estimation-based primary ambient extraction for stereo signals | |
| EP3228030A1 (en) | A mixing console with solo output | |
| US11740862B1 (en) | Method and system for accelerated decomposing of audio data using intermediate data | |
| Cobos et al. | Interactive enhancement of stereo recordings using time-frequency selective panning | |
| WO2023160782A1 (en) | Upmixing systems and methods for extending stereo signals to multi-channel formats | |
| WO2023047620A1 (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |