CN109688531B - 获取高音质音频变换信息的方法、电子装置及记录介质 - Google Patents

获取高音质音频变换信息的方法、电子装置及记录介质 Download PDF

Info

Publication number
CN109688531B
CN109688531B CN201811215148.1A CN201811215148A CN109688531B CN 109688531 B CN109688531 B CN 109688531B CN 201811215148 A CN201811215148 A CN 201811215148A CN 109688531 B CN109688531 B CN 109688531B
Authority
CN
China
Prior art keywords
signal spectrum
signal
extended
energy distribution
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811215148.1A
Other languages
English (en)
Other versions
CN109688531A (zh
Inventor
王添明
林立研
廖俊旻
何吉堂
郭彦闵
蔡宗佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN109688531A publication Critical patent/CN109688531A/zh
Application granted granted Critical
Publication of CN109688531B publication Critical patent/CN109688531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/006—Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Abstract

本发明公开一种获取高音质音频变换信息的方法、电子装置及记录介质。此方法适用于具有处理器的电子装置。此方法提取第一音频信号，并变换第一音频信号为频域的第一信号频谱。之后，对第一信号频谱的能量分布进行回归分析，以根据第一信号频谱预测在频域中的延伸能量分布，并利用头部相关参数对延伸能量分布进行补偿，以产生延伸信号频谱。最后，结合第一信号频谱与延伸信号频谱产生第二信号频谱，并变换第二信号频谱至时域，以获取具高音质音频变换信息的第二音频信号。

Description

获取高音质音频变换信息的方法、电子装置及记录介质
技术领域
本发明涉及一种音频变换技术，且特别涉及一种获取高音质音频变换信息的方法、具有获取高音质音频变换信息功能的电子装置以及记录介质。
背景技术
在数字多媒体与娱乐产业(digital media and entertainment industry)蓬勃发展下，对于立体音效的需求越来越大，消费者对于声音的音质的要求也越来越高。一般来说，立体音效应用在各种软硬件平台上，而可以让游戏、电影、音乐等多媒体娱乐的音效听起来更接近真实。例如将立体音效使用于虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)或混合现实(Mixed Reality，MR)的头戴式装置或是耳机、音响中，皆可以带来较佳的使用者体验。
目前而言，将一般音效变换成立体音效的方法通常是藉由测量对应于时域的头部相关脉冲响应(Head-Related Impulse Response，HRIR)或是从HRIR变换的对应于频域的头部相关变换函数(Head-Related Transfer Function，HRTF)将不具有方向性的声音信号进行变换而得到立体音效。
然而，现今立体音效技术受到测量仪器以及环境的限制，应用于立体音效合成所需的HRIR，其采样频率普遍仅支持到44.1kHz，少数支持到最高48kHz。上述限制导致即使输入的音频信号具备高频频段，也无法在通过HRTF变换成立体音频信号时，仍保持高频率的频段，而造成输出质量受限。若想要直接采样具有高频频段的HRIR，例如采样频率为96kHz或以上，则需要在无响室中使用可以发出高频声音的喇叭以及可以接收高频信号的装置进行测量。上述测量方法的建置成本十分昂贵，通常也仅能测量特定假人头的HRIR。
发明内容
有鉴于此，本发明提供一种获取高音质音频变换信息的方法、电子装置以及记录介质，其可将缺乏高频脉冲响应信息的音频信号变换为具有高频脉冲响应信息和方向性的高音质立体音频信号。
本发明提供一种获取高音质音频变换信息的方法，适用于具有处理器的电子装置，所述方法包括下列步骤。提取第一音频信号。变换第一音频信号为频域的第一信号频谱。对第一信号频谱的能量分布进行回归分析，以根据第一信号频谱预测在频域中的延伸能量分布。利用头部相关参数对延伸能量分布进行补偿，以产生延伸信号频谱。以及结合第一信号频谱与延伸信号频谱产生第二信号频谱，并变换第二信号频谱至时域，以获取具高音质音频变换信息的第二音频信号。
在本发明的一实施例中，上述第一音频信号记录有与头部相关的脉冲响应信息。
在本发明的一实施例中，上述结合该第一信号频谱与该延伸信号频谱产生该第二信号频谱的步骤包括：利用音响心理学模型的等响度曲线调整第一信号频谱以及延伸信号频谱中多个频带的能量值，以产生第二信号频谱。
在本发明的一实施例中，上述第一音频信号是利用配置于耳部的声音提取装置提取对于音源的相关脉冲响应而得。
在本发明的一实施例中，上述对第一信号频谱的能量分布进行回归分析，以根据第一信号频谱预测在频域中的延伸能量分布的步骤包括：将第一信号频谱分成多个频带。以及依据所述频带之间的能量关系，利用回归分析预测第一信号频谱在频域中的最高频率以上的延伸能量分布。
在本发明的一实施例中，上述利用头部相关参数对延伸能量分布进行补偿，以产生延伸信号频谱的步骤包括：在频域重建出包含延伸能量分布的信息且经头部相关补偿的延伸信号频谱。
在本发明的一实施例中，上述利用头部相关参数对延伸能量分布进行补偿，以产生延伸信号频谱的步骤包括：依据头部相关参数决定权重网格。其中权重网格对应于电子装置的多个方位而分为多个权重网格区域，并记录音源在不同的所述权重网格区域时的能量权重。以及选择对应于第一音频信号的方位的权重网格区域的能量权重对频域中的延伸能量分布进行补偿，以在频域重建出包含延伸能量分布的信息且经头部相关补偿的该延伸信号频谱。
在本发明的一实施例中，上述获取高音质音频变换信息的方法还包括：接收高音质音频数据的第三音频信号，并变换第三音频信号为频域的第三信号频谱。对第三信号频谱与第二信号频谱进行快速卷积运算，以获取第四信号频谱。以及变换第四信号频谱至时域，以获取经头部相关补偿的高音质音频的第四音频信号。
本发明的电子装置包括数据提取装置、存储装置以及处理器。所述的数据提取装置用以提取音频信号。所述的存储装置存储一或多个指令。所述的处理器耦接至数据提取装置以及存储装置，并且经配置以执行所述指令以：控制所述数据提取装置提取第一音频信号。变换第一音频信号为频域的第一信号频谱。对第一信号频谱的能量分布进行回归分析，以根据第一信号频谱预测在频域中的延伸能量分布。利用头部相关参数对延伸能量分布进行补偿，以产生延伸信号频谱。以及结合第一信号频谱与延伸信号频谱产生第二信号频谱，并变换第二信号频谱至时域，以获取具高音质音频变换信息的第二音频信号。
本发明更提供一种计算机可读记录介质，记录程序，经由电子装置载入以执行下列步骤。提取第一音频信号。变换第一音频信号为频域的第一信号频谱。对第一信号频谱的能量分布进行回归分析，以根据第一信号频谱预测在频域的延伸能量分布。利用头部相关参数对延伸能量分布进行补偿，以产生延伸信号频谱。以及结合第一信号频谱与延伸信号频谱产生第二信号频谱，并变换第二信号频谱至时域，以获取具高音质音频变换信息的第二音频信号。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1绘示本发明一实施例的电子装置的方块图。
图2绘示本发明一实施例的获取高音质音频变换信息的方法的流程图。
图3A绘示本发明一实施例的预测延伸能量分布的范例。
图3B绘示本发明一实施例的预测延伸能量分布的范例。
图3C绘示本发明一实施例的预测延伸能量分布的范例。
图4绘示本发明一实施例的权重网格的范例。
图5绘示本发明一实施例的等响度曲线的范例。
图6绘示本发明一实施例的利用高音质音频变换信息的方法的流程图。
图7绘示本发明一实施例的电子装置的方块图。
【符号说明】
100、700：电子装置
110、710：处理器
120、720：数据提取装置
130、730：存储装置
30：第一信号频谱的能量分布
40：权重网格
50：等响度曲线
60：音频信号
60a、60b：高音质信号频谱
60c：高音质音频信号
62：高音质头部相关变换函数(Hi-Res HRTF)
740：声音提取装置
A1～A648：权重网格区域
A’：第一权重网格区域
a1～am：第一信号频谱各频带的能量
b1～bn：延伸能量分布
M、N：频率
Figure BDA0001833364580000041
第一音频信号的方位
S202～S210、S602～S606：步骤
θ：水平角度
Figure BDA0001833364580000042
垂直角度
具体实施方式
本发明是在有限的条件下，利用回归预估模型及人耳听感统计模型，将原始低音质的头部相关变换函数(Head-Related Transfer Function，HRTF)变换成高音质头部相关变换函数(Hi-Res HRTF)。在处理音频时，藉由将输入的音频数据变换至频域，并在频域对变换后的音频数据使用高音质头部相关变换函数进行快速卷积算法(Fast Convolution)，最后将运算结果变换回时域，即可获得高音质输出结果。藉此，可大幅减少计算量，达到即时运算立体(3D)音效处理的目的。
图1绘示本发明一实施例的电子装置的方块图。参考图1，电子装置100包括处理器110、数据提取装置120以及存储装置130。处理器110耦接至数据提取装置120以及存储装置130，而可存取并执行记录在存储装置130中的指令，以实现本发明实施例的获取高音质音频变换信息方法。电子装置100可以是任何需要产生立体音效的装置，例如是VR、AR或MR的头戴式装置，或是耳机、音响等，本发明不在此限制。
在不同实施例中，处理器110例如是中央处理单元(Central Processing Unit，CPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、特殊应用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、可编程逻辑装置(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合，本发明不在此限制。
在本实施例中，数据提取装置120用以提取音频信号。其中音频信号例如是记录有与头部相关的脉冲响应信息(例如为HRIR)的音频信号。所述的音频信号例如是用44.1kHz、48kHz等采样频率较低的测量机器所测量到的立体音频信号，受到测量机器及环境的限制，所测量到的立体音频信号缺乏高频的脉冲响应信息。具体而言，数据提取装置120可以是任何以有线方式接收由测量机器所测量的音频信号的装置，例如是通用串行总线(UniversalSerial Bus，USB)、3.5mm音源接孔，或是任何支持无线方式接收音频信号的接收器，例如是支持无线相容认证(Wireless Fidelity，WiFi)系统、全球互通微波存取(WorldwideInteroperability for Microwave Access，WiMAX)系统、第三代无线通信技术(3G)、第四代无线通信技术(4G)、第五代无线通信技术(5G)、长期演进技术(Long Term Evolution，LTE)、红外线(Infrared)传输、蓝牙(Bluetooth，BT)通信技术其中之一或其组合的接收器，本发明不在此限制。
存储装置130例如是任意型式的固定式或可移动式随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash memory)、硬盘或其他类似装置或这些装置的组合，而用以存储可由处理器110执行的一或多个指令，这些指令可载入处理器110。
图2绘示本发明一实施例的获取高音质音频变换信息的方法的流程图。请同时参照图1及图2，本实施例的方法适用于上述的电子装置100，以下即搭配电子装置100的各项装置及元件说明本实施例的获取高音质音频变换信息的方法的详细步骤。
首先，由处理器110控制数据提取装置120提取第一音频信号(步骤S202)。其中第一音频信号记录有与头部相关的脉冲响应信息。其中与头部相关的脉冲响应信息包括第一音频信号的方位
Figure BDA0001833364580000062
θ为第一音频信号的水平角度、
Figure BDA0001833364580000063
为第一音频信号的垂直角度。
接着，处理器110变换第一音频信号为频域的第一信号频谱(步骤S204)。其中，处理器110对第一音频信号进行快速傅立叶变换(Fast Fourier Transform，FFT)，以将第一音频信号变换至频域而产生第一信号频谱。
之后，处理器110对第一信号频谱的能量分布进行回归分析，以根据第一信号频谱预测在频域中的延伸能量分布(步骤S206)。接着，处理器110利用头部相关参数对延伸能量分布进行补偿，以产生延伸信号频谱(步骤S208)。详细而言，处理器110将第一信号频谱分成多个频带，并依据各频带之间的能量关系，利用回归分析(Regression Analysis)预测第一信号频谱在频域中的最高频率以上的延伸能量分布。
举例来说，图3A、3B及3C绘示本发明一实施例的预测延伸能量分布的范例。请先参照图3A，处理器110提取第一音频信号并将其变换为频域的第一信号频谱。图3A绘示第一信号频谱的能量分布30。其中，第一信号频谱的能量分布30的最高频率为M。请再参照图3B，处理器110将第一信号频谱的能量分布30一共分成m个频带。此时可得到频带1～m的能量分别为a1～am。接着，处理器110例如是利用方程式(1)的线性回归模型推得第一信号频谱各频带的能量a1～am的回归方程式：
y＝β0+β1x (1)
其中x为频带1～m、y为第一信号频谱各频带的能量a1～am，由上述线性回归模型可计算β0以及β1的损失函数(Loss Function)，如方程式(2)所示：
Figure BDA0001833364580000061
方程式(2)通过最小平分法(Least Square)可求得β0以及β1。请接着参照图3C，当求得β0以及β1后，在本实施例中，假设目标是将第一信号频谱的能量分布30延伸至最高频率M以上的频域，并且延伸至最高频率为N。则处理器110将频率M至频率N之间分成n个频带，此时可得到频率M至频率N之间的频带1～n。之后，再将已求得的β0、β1代入方程式(1)的线性回归模型进行计算。其中x为频带1～n、y为延伸能量分布b1～bn。经回归分析计算过后即可预测第一信号频谱在第一信号频谱的最高频率M以上的频域中的延伸能量分布b1～bn。
在本实施例中，在预测出第一信号频谱在频域中的延伸能量分布b1～bn后，处理器110接着利用头部相关参数对延伸能量分布b1～bn进行修正及补偿。详言之，一般来自不同方位的音源会因为音源相对于听者的方向的不同以及每个人头型和耳壳等构造的不同，而在进入左耳和右耳时产生不同的时间差(Interaural Time Difference，ITD)和能量差(Interaural Level Difference，ILD)等差异。基于这些差异，听者可以感知到音源的方向性。
详细而言，在进行头部相关参数的补偿时，处理器110例如会依据头部相关参数决定一个权重网格。其中，权重网格例如为一球状的网格，并且对应于电子装置100的多个方位而分为多个权重网格区域，并记录音源在不同权重网格区域时用以调整各频带能量分布的能量权重。所述的能量分布在依音源所在方位的权重网格区域所对应的能量权重调整后，可使得听者双耳感知到的音源来自该方位。
图4绘示本发明一实施例的权重网格的范例。以图4的权重网格40为例，权重网格40依水平角度θ、垂直角度
Figure BDA0001833364580000073
每10度划分一个权重网格区域，共划分为648个权重网格区域A1～A648。划分权重网格的角度也可以是5度或是其他角度，在此设定为10度仅做为说明示例。于此，音源在权重网格区域A1～A648之中各具有不同的能量权重。
在一实施例中，此权重网格40会依据不同人的头部相关参数而造成音源在不同的权重网格区域A1～A648时会具有不同的能量权重。因此权重网格40会依据头部相关参数进行调整。在一实施例中，头部相关参数包括头部、耳朵、鼻腔、口腔、躯干的形状、大小、构造和/或密度。换句话说，对应至各头部相关参数的权重网格、对应至各权重网格的权重网格区域以及对应至各权重网格区域的能量权重可预先记录于存储至存储装置130之中。
以图4的权重网格40为例，处理器110例如会依据第一音频信号的方位
Figure BDA0001833364580000071
从权重网格区域A1～A648中选择对应于该方位
Figure BDA0001833364580000072
的权重网格区域A’，并依据该权重网格区域A’对应的能量权重对延伸能量分布进行补偿，以在第一信号频谱的最高频率M以上的频域重建出包含延伸能量分布的信息且经头部相关补偿的延伸信号频谱。能量分布的补偿可以下列方程式(3)来表示：
Figure BDA0001833364580000081
其中，θ为第一音频信号的水平角度、
Figure BDA0001833364580000082
为第一音频信号的垂直角度、Grid为权重网格、
Figure BDA0001833364580000083
则代表位在方位
Figure BDA0001833364580000084
上的权重网格区域A’所对应的能量权重、k为1～n(n为针对延伸频域所划分的频带数目)、
Figure BDA0001833364580000085
为延伸频域补偿前的能量分布，而
Figure BDA0001833364580000086
为延伸频域补偿后的能量分布。亦即，处理器110将权重网格区域A’对应的能量权重，分别乘上频域中的延伸能量分布b1～bn以进行补偿。在补偿延伸能量分布b1～bn以产生补偿后的延伸能量分布b1’～bn’后，处理器110在第一信号频谱的最高频率M以上的频域产生延伸信号频谱。具体而言，处理器110在第一信号频谱的最高频率M以上的频域重建出包含延伸能量分布的信息且经头部相关补偿的延伸信号频谱。
在产生延伸信号频谱之后，处理器110结合第一信号频谱与延伸信号频谱产生第二信号频谱，并变换第二信号频谱至时域，以获取具高音质音频变换信息的第二音频信号(步骤S210)。其中，处理器110例如是利用音响心理学模型的等响度曲线来调整第一信号频谱以及延伸信号频谱中多个频带的能量值，以产生第二信号频谱，然后再对第二信号频谱做快速傅立叶逆变换(Inverse Fast Fourier Transform，IFFT)，将第二信号频谱变换至时域以产生具高音质音频变换信息的第二音频信号。
图5绘示本发明一实施例的等响度曲线的范例。请参照图5，处理器110例如是利用音响心理学模型的等响度曲线50调整第一信号频谱以及延伸信号频谱中多个频带的能量值，以产生第二信号频谱。利用等响度曲线调整各频带的能量值可以方程式(4)来表示：
Figure BDA0001833364580000087
其中，L为响度等级(Loudness Level)、f为频率、ELChigh(L，f)为等响度曲线、k为1～n(n为针对延伸频域所划分的频带数目)、
Figure BDA0001833364580000088
为延伸频域补偿后的能量分布，而
Figure BDA0001833364580000089
为依据等响度曲线补偿后的延伸频域的能量。亦即，处理器110将等响度曲线对应频率的强度等级(intensity level)乘上补偿后的延伸信号频谱的延伸能量分布b1’～bn’的能量值，以实现听感补偿。类似地，处理器110亦将等响度曲线对应频率的强度等级乘上第一信号频谱各频带的能量a1～am的能量值，以实现听感补偿。
经由上述获取高音质音频变换信息的方法，处理器110可将原始对应于记录有与头部相关的脉冲响应信息但缺乏高频部分的第一音频信号的HRTF变换成具有高频部分的高音质头部相关变换函数(Hi-Res HRTF)。
图6绘示本发明一实施例的利用高音质音频变换信息的方法的流程图。请参照图6，本实施例接续在图2的步骤S210之后，意即，处理器110经由步骤S202～S210获得Hi-ResHRTF 62。步骤S202～S210可以参照前述实施例中的相关说明，在此不再赘述。假设处理器110提取到高音质音频数据的音频信号60(采样频率例如为96kHz或以上)，处理器110先对音频信号60进行FFT，产生高音质信号频谱60a(步骤S602)。接着，处理器110在频域进行高音质信号频谱60a与Hi-Res HRTF 62的快速卷积算法(Fast Convolution)，产生高音质信号频谱60b(步骤S604)。最后，处理器110对高音质信号频谱60b进行IFFT，以产生高音质音频信号60c(步骤S606)。其中，通过本发明提供的Hi-Res HRTF，音频信号60在变换成高音质音频信号60c的同时，保留了高频段的频率，因此变换后的音频仍可以维持高音质。
图7绘示本发明一实施例的电子装置的方块图。请参照图7，在本发明另一实施例中，电子装置700还包括声音提取装置740。声音提取装置740例如是以耳机形式配置于使用者耳部且耦接数据提取装置720。在本实施例中，声音提取装置740用以提取对于音源的相关脉冲响应而得到记录有与头部相关的脉冲响应信息的音频信号。在不同实施例中，声音提取装置740例如是动圈式麦克风(Dynamic Microphone)、电容式麦克风(CondenserMicrophone)、驻极体电容麦克风(Electret Condenser Microphone)、微机电麦克风(MEMSMicrophone)或是针对来自不同角度声音有不同灵敏度的指向性麦克风，本发明不在此限制。本实施例中的电子装置700、处理器710、数据提取装置720以及存储装置730类似于图1中的电子装置100、处理器110、数据提取装置120以及存储装置130，其硬件设置可以参照前述实施例中的相关说明，在此不再赘述。
使用者例如可将声音提取装置740分别置于双耳内，并在空间中的不同方位放置音源以播放音频，而由声音提取装置740提取来自音源且经头部相关影响后的音频信号。处理器710可使用本发明获取高音质音频变换信息的方法针对空间中不同角度音源所测得的低音质音频信号进行高音质的变换，即可获得专属于使用者个人的经头部相关调整且具有高音质音频变换信息的音频信号。由于本实施例不需要使用可发出高频声音的喇叭作为音源，也不需要使用可接收高频声音的录音设备，因此使用者可以较低的成本获得个人化的高音质音频变换信息，并应用于对输入信号的处理，而获得高音质的输出结果。
本申请还提供一种非暂时性计算机可读记录介质，其中记录计算机程序。该计算机程序是用以执行上述获取高音质音频变换信息的方法的各个步骤。此计算机程序是由多数个程序代码片段所组成的(例如建立组织图程序代码片段、签核表单程序代码片段、设定程序代码片段、以及部署程序代码片段)，并且这些程序代码片段在载入电子装置中并执行之后，即可完成上述获取高音质音频变换信息的方法的步骤。
基于上述，本发明提供的获取高音质音频变换信息的方法及电子装置可将缺乏高频频带的音频信号变换为具有高频频带和方向性的高音质音频信号，并且补偿及调整音频信号的频带能量。基此，本发明可以较低的成本获取高音质音频信号以及高音质头部相关变换函数。此外，也可以较低的计算量计算出高音质音频信号，避免一般为了获得具有高频率频段的音频而增加采样频率造成的高计算量。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。

Claims (9)

1.一种获取高音质音频变换信息的方法，适用于具有处理器的电子装置，其特征在于，该方法包括下列步骤：
利用配置于耳部的声音提取装置提取对于音源的相关脉冲响应而获得第一音频信号；
变换该第一音频信号为频域的第一信号频谱；
对该第一信号频谱的能量分布进行回归分析，以根据该第一信号频谱预测在频域中的延伸能量分布；
利用头部相关参数对该延伸能量分布进行补偿，以产生延伸信号频谱；以及
结合该第一信号频谱与该延伸信号频谱产生第二信号频谱，并变换该第二信号频谱至时域，以获取具高音质音频变换信息的第二音频信号。
2.如权利要求1所述的获取高音质音频变换信息的方法，其特征在于，其中该第一音频信号记录有与头部相关的脉冲响应信息。
3.如权利要求1所述的获取高音质音频变换信息的方法，其特征在于，其中结合该第一信号频谱与该延伸信号频谱产生该第二信号频谱的步骤包括：
利用音响心理学模型的等响度曲线调整该第一信号频谱以及该延伸信号频谱中多个频带的能量值，以产生该第二信号频谱。
4.如权利要求1所述的获取高音质音频变换信息的方法，其特征在于，其中对该第一信号频谱的能量分布进行回归分析，以根据该第一信号频谱预测在频域中的该延伸能量分布的步骤包括：
将该第一信号频谱分成多个频带；以及
依据所述频带之间的能量关系，利用回归分析预测该第一信号频谱在频域中的最高频率以上的该延伸能量分布。
5.如权利要求1所述的获取高音质音频变换信息的方法，其特征在于，其中利用头部相关参数对该延伸能量分布进行补偿，以产生该延伸信号频谱的步骤包括：
在频域重建出包含该延伸能量分布的信息且经头部相关补偿的该延伸信号频谱。
6.如权利要求5所述的获取高音质音频变换信息的方法，其特征在于，其中利用头部相关参数对该延伸能量分布进行补偿，以产生该延伸信号频谱的步骤包括：
依据该头部相关参数决定权重网格，其中该权重网格对应于该电子装置的多个方位而分为多个权重网格区域，并记录音源在不同的所述权重网格区域时的能量权重；以及
选择对应于该第一音频信号的方位的权重网格区域的能量权重对频域中的该延伸能量分布进行补偿，以在频域重建出包含该延伸能量分布的信息且经头部相关补偿的该延伸信号频谱。
7.如权利要求1所述的获取高音质音频变换信息的方法，其特征在于，还包括：
接收高音质音频数据的第三音频信号，并变换该第三音频信号为频域的第三信号频谱；
对该第三信号频谱与该第二信号频谱进行快速卷积运算，以获取第四信号频谱；以及
变换该第四信号频谱至时域，以获取经头部相关补偿的高音质音频的第四音频信号。
8.一种电子装置，其特征在于，包括：
声音提取装置，配置于耳部，用以提取对于音源的相关脉冲响应而获得音频信号；
存储装置，存储一或多个指令；以及
处理器，耦接至该声音提取装置以及该存储装置，该处理器经配置以执行所述指令以：
控制该声音提取装置提取第一音频信号；
变换该第一音频信号为频域的第一信号频谱；
对该第一信号频谱的能量分布进行回归分析，以根据该第一信号频谱预测在频域中的延伸能量分布；
利用头部相关参数对该延伸能量分布进行补偿，以产生延伸信号频谱；以及
结合该第一信号频谱与该延伸信号频谱产生第二信号频谱，并变换该第二信号频谱至时域，以获取具高音质音频变换信息的第二音频信号。
9.一种计算机可读记录介质，记录程序，其特征在于，经由电子装置载入该程序以执行下列步骤：
利用配置于耳部的声音提取装置提取对于音源的相关脉冲响应而获得第一音频信号；
变换该第一音频信号为频域的第一信号频谱；
对该第一信号频谱的能量分布进行回归分析，以根据该第一信号频谱预测在频域中的延伸能量分布；
利用头部相关参数对该延伸能量分布进行补偿，以产生延伸信号频谱；以及
结合该第一信号频谱与该延伸信号频谱产生第二信号频谱，并变换该第二信号频谱至时域，以获取具高音质音频变换信息的第二音频信号。
CN201811215148.1A 2017-10-18 2018-10-18 获取高音质音频变换信息的方法、电子装置及记录介质 Active CN109688531B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762574151P 2017-10-18 2017-10-18
US62/574,151 2017-10-18

Publications (2)

Publication Number Publication Date
CN109688531A CN109688531A (zh) 2019-04-26
CN109688531B true CN109688531B (zh) 2021-01-26

Family

ID=66096290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811215148.1A Active CN109688531B (zh) 2017-10-18 2018-10-18 获取高音质音频变换信息的方法、电子装置及记录介质

Country Status (3)

Country Link
US (1) US10681486B2 (zh)
CN (1) CN109688531B (zh)
TW (1) TWI684368B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128037B (zh) * 2021-04-08 2022-05-10 厦门大学 基于环线积分的涡旋波束螺旋谱分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888889A (zh) * 2014-04-07 2014-06-25 北京工业大学 一种基于球谐展开的多声道转换方法
CN107527628A (zh) * 2013-07-12 2017-12-29 皇家飞利浦有限公司 用于在音频信号解码器中进行频带扩展的优化缩放因子

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005501278A (ja) * 2001-08-31 2005-01-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 音声信号の帯域幅拡張
KR100462615B1 (ko) * 2002-07-11 2004-12-20 삼성전자주식회사 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
JP3879922B2 (ja) * 2002-09-12 2007-02-14 ソニー株式会社 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム
GB0419346D0 (en) * 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
JP2006243043A (ja) * 2005-02-28 2006-09-14 Sanyo Electric Co Ltd 高域補間装置及び再生装置
US20070109977A1 (en) * 2005-11-14 2007-05-17 Udar Mittal Method and apparatus for improving listener differentiation of talkers during a conference call
US20080004866A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Artificial Bandwidth Expansion Method For A Multichannel Signal
KR100862662B1 (ko) * 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
US8433582B2 (en) * 2008-02-01 2013-04-30 Motorola Mobility Llc Method and apparatus for estimating high-band energy in a bandwidth extension system
US20090201983A1 (en) * 2008-02-07 2009-08-13 Motorola, Inc. Method and apparatus for estimating high-band energy in a bandwidth extension system
CN103165136A (zh) * 2011-12-15 2013-06-19 杜比实验室特许公司 音频处理方法及音频处理设备
CN103413557B (zh) * 2013-07-08 2017-03-15 深圳Tcl新技术有限公司 语音信号带宽扩展的方法和装置
US9666202B2 (en) * 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
CN104658547A (zh) * 2013-11-20 2015-05-27 大连佑嘉软件科技有限公司 一种人工语音带宽扩展的方法
FR3017484A1 (fr) * 2014-02-07 2015-08-14 Orange Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences
KR102216801B1 (ko) * 2014-04-02 2021-02-17 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
US9584942B2 (en) * 2014-11-17 2017-02-28 Microsoft Technology Licensing, Llc Determination of head-related transfer function data from user vocalization perception
CN105120418B (zh) * 2015-07-17 2017-03-22 武汉大学 双声道3d音频生成装置及方法
US10706869B2 (en) * 2016-04-20 2020-07-07 Genelec Oy Active monitoring headphone and a binaural method for the same
JP7110113B2 (ja) * 2016-04-20 2022-08-01 ジェネレック・オーワイ アクティブモニタリングヘッドホンとその較正方法
JP6821699B2 (ja) * 2016-04-20 2021-01-27 ジェネレック・オーワイＧｅｎｅｌｅｃ Ｏｙ アクティブモニタリングヘッドホンとそれの反転を正則化する方法
CN106057220B (zh) * 2016-05-19 2020-01-03 Tcl集团股份有限公司 一种音频信号的高频扩展方法和音频播放器
US10225643B1 (en) * 2017-12-15 2019-03-05 Intel Corporation Secure audio acquisition system with limited frequency range for privacy

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527628A (zh) * 2013-07-12 2017-12-29 皇家飞利浦有限公司 用于在音频信号解码器中进行频带扩展的优化缩放因子
CN103888889A (zh) * 2014-04-07 2014-06-25 北京工业大学 一种基于球谐展开的多声道转换方法

Also Published As

Publication number Publication date
CN109688531A (zh) 2019-04-26
TWI684368B (zh) 2020-02-01
US10681486B2 (en) 2020-06-09
TW201918082A (zh) 2019-05-01
US20190116447A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
KR102149214B1 (ko) 위상응답 특성을 이용하는 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
EP3320692B1 (en) Spatial audio processing apparatus
JP4944902B2 (ja) バイノーラルオーディオ信号の復号制御
US10555108B2 (en) Filter generation device, method for generating filter, and program
CN110537221A (zh) 用于空间音频处理的两阶段音频聚焦
US10757522B2 (en) Active monitoring headphone and a method for calibrating the same
JPWO2005025270A1 (ja) 音像制御装置の設計ツールおよび音像制御装置
US10706869B2 (en) Active monitoring headphone and a binaural method for the same
JP6613078B2 (ja) 信号処理装置及びその制御方法
US10582325B2 (en) Active monitoring headphone and a method for regularizing the inversion of the same
US9860641B2 (en) Audio output device specific audio processing
KR101673232B1 (ko) 수직 방향 가상 채널을 생성하는 장치 및 그 방법
Grimm et al. Evaluation of spatial audio reproduction schemes for application in hearing aid research
JP2020506639A (ja) オーディオ信号処理方法及び装置
CN112567765B (zh) 空间音频捕获、传输和再现
US11632643B2 (en) Recording and rendering audio signals
TW202038214A (zh) 使用低階、中階及高階分量產生器用於編碼、解碼、場景處理及基於空間音訊編碼與DirAC有關的其他程序的裝置、方法及電腦程式
KR20150103252A (ko) 스테레오 신호를 결정하는 방법
KR102057684B1 (ko) 3차원 입체음향 제공이 가능한 입체음향서비스장치
CN109688531B (zh) 获取高音质音频变换信息的方法、电子装置及记录介质
JP7232546B2 (ja) 音響信号符号化方法、音響信号復号化方法、プログラム、符号化装置、音響システム、及び復号化装置
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR101993585B1 (ko) 실시간 음원 분리 장치 및 음향기기
JP2024501617A (ja) 近接場オーディオ信号伝達関数データに基づいてパーソナライズされた自由場オーディオ信号伝達関数を生成するための方法及びシステム
WO2024044113A2 (en) Rendering audio captured with multiple devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant