CN104581610A - 一种虚拟立体声合成方法及装置 - Google Patents

一种虚拟立体声合成方法及装置 Download PDF

Info

Publication number
CN104581610A
CN104581610A CN201310508593.8A CN201310508593A CN104581610A CN 104581610 A CN104581610 A CN 104581610A CN 201310508593 A CN201310508593 A CN 201310508593A CN 104581610 A CN104581610 A CN 104581610A
Authority
CN
China
Prior art keywords
opposite side
input signal
audio input
side audio
frequency domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310508593.8A
Other languages
English (en)
Other versions
CN104581610B (zh
Inventor
郎玥
杜正中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310508593.8A priority Critical patent/CN104581610B/zh
Priority to EP14856259.8A priority patent/EP3046339A4/en
Priority to PCT/CN2014/076089 priority patent/WO2015058503A1/zh
Publication of CN104581610A publication Critical patent/CN104581610A/zh
Priority to US15/137,493 priority patent/US9763020B2/en
Application granted granted Critical
Publication of CN104581610B publication Critical patent/CN104581610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S3/004For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H04S7/306For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本申请公开了一种虚拟立体声合成方法及装置,其中,所述方法包括:获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号;分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数;分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的滤波函数进行卷积滤波得到所述另一侧滤波信号;将所有所述一侧声音输入信号与所有所述另一侧滤波信号合成虚拟立体声信号。通过上述方式,本申请能够改善音染效果,且降低计算复杂度。

Description

一种虚拟立体声合成方法及装置
技术领域
本申请涉及音频处理技术领域,特别是涉及一种虚拟立体声合成方法及装置。
背景技术
目前,耳机已广泛应用于欣赏音乐和视频。在使用耳机重放立体声信号时,往往会出现头部定位效应,造成不自然的听力效果。经研究,所述头部定位效应出现的原因为:1)耳机直接将左右通道信号合成的虚拟声信号后直接传输至双耳,并无如自然声般经人头、耳廊、躯干等散射、反射,且合成的虚拟声信号中左右通道信号并无交叉叠加,破坏原声场的空间信息;2)所述合成的虚拟声信号缺少房间的早期反射和后期混响,进而影响听者对声音距离及空间大小的感受。
为减轻所述头部定位效应,现有技术通过在人工模拟的听音环境中测量出可表达生理结构或环境对声波的综合滤波效果的数据。常见的方式是在消声室中使用人工头测量头相关变换函数(Head Related TransferFunction,简称HRTF),以表达生理结构对声波的综合滤波效果,如图1,通过对输入的左右通道信号sl(n)、sr(n)进行交叉卷积滤,获得分别输出至左、右耳虚拟声信号sl(n)、sr(n)。
s l ( n ) = conv ( h θ l l ( n ) , s l ( n ) ) + conv ( h θ r l ( n ) , s r ( n ) )
s r ( n ) = conv ( h θ l r ( n ) , s l ( n ) ) + conv ( h θ r r ( n ) , s r ( n ) )
其中,conv(x,y)表示向量x、y的卷积,分别为模拟的左扬声器到左、右耳的HRTF数据,分别为模拟的右扬声器到左、右耳的HRTF数据。然而,上述方式虚拟声信号需要分别对左右通道信号进行卷积,对左右通道信号的原始频率造成一定影响,造从而产生音染效果,且也增加的计算的复杂度。
现有技术还提供利用BRIR数据替代上述的HRTF数据进行对左右通道输入的信号进行立体声模拟,BRIR数据中还包括环境对声波的综合滤波效果,虽其立体声效较于HRTF数据有改善,但其计算复杂度更高,且音染效果依然存在。
发明内容
本申请主要解决的技术问题是提供一种虚拟立体声合成方法及装置,能够改善音染效果,且降低计算复杂度。
为解决上述技术问题,本申请第一方面提供一种虚拟立体声合成方法,所述方法包括:获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号;分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数;分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的滤波函数进行卷积滤波得到所述另一侧滤波信号;将所有所述一侧声音输入信号与所有所述另一侧滤波信号合成虚拟立体声信号。
结合第一方面,本申请第一方面第一种可能的实施方式为:所述分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数的步骤包括:
分别将每一个所述另一侧声音输入信号的左耳频域参数和右耳频域参数的比值作为每一个所述另一侧声音输入信号的滤波频域函数,其中,所述左耳频域参数表示所述另一侧声音输入信号的预设HRTF左耳分量,所述右耳频域参数表示所述另一侧声音输入信号的预设HRTF右耳分量;分别将每一个所述另一侧声音输入信号的滤波频域函数转换为时域,作为每一个所述另一侧声音输入信号的滤波函数。
结合第一方面的第一种可能的实施方式,本申请第一方面第二种可能的实施方式为:所述分别将每一个所述另一侧声音输入信号的滤波频域函数转换为时域,作为每一个所述另一侧声音输入信号的滤波函数的步骤包括:分别对每一个所述另一侧声音输入信号的滤波频域函数进行最小相位滤波后转换为时域,作为每一个所述另一侧声音输入信号的滤波函数。
结合第一方面的第一或第二种可能的实施方式,本申请第一方面第三种可能的实施方式为:在所述分别将每一个所述另一侧声音输入信号的左耳频域参数和右耳频域参数的比值作为每一个所述另一侧声音输入信号的滤波频域函数的步骤之前,所述方法还包括:
分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量的频域作为每一个所述另一侧声音输入信号的右耳频域参数;或者,分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量进行扩散场均衡或子带平滑后的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量进行扩散场均衡或子带平滑后的频域作为每一个所述另一侧声音输入信号的右耳频域参数;或者,分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量依序进行扩散场均衡、子带平滑后的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量依序进行扩散场均衡、子带平滑后的频域作为每一个所述另一侧声音输入信号的右耳频域参数。
结合第一方面或第一至第三任一种可能的实施方式,本申请第一方面第四种可能的实施方式为:所述分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的滤波函数进行卷积滤波得到另一侧滤波信号的步骤具体包括:分别将每一个所述另一侧声音输入信号进行混响处理后作为另一侧声音混响信号;分别将每一个所述另一侧声音混响信号与对应的所述另一侧声音输入信号的滤波函数进行卷积滤波得到另一侧滤波信号。
结合第一方面的第四种可能的实施方式,本申请第一方面第五种可能的实施方式为:所述分别将每一个所述另一侧声音输入信号进行混响处理后作为另一侧声音混响信号的步骤包括:分别将每一个所述另一侧声音输入信号通过全通滤波器得到每一个所述另一侧声音输入信号的混响信号;分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的混响信号合成另一侧声音混响信号。
结合第一方面或第一至第五任一种可能的实施方式,本申请第一方面第六种可能的实施方式为:所述将所有所述一侧声音输入信号与所有所述另一侧滤波信号合成虚拟立体声信号的步骤具体包括:对所有所述一侧声音输入信号与所有所述另一侧滤波信号求和获得合成信号;利用4阶无限冲激响应IIR滤波器对所述合成信号进行音色均衡后作为虚拟立体声信号。
为了解决上述技术问题,本申请第二方面提供一种虚拟立体声合成装置,所述装置包括获取模块、生成模块、卷积滤波模块及合成模块;所述获取模块用于获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号,并发送给所述生成模块和卷积滤波模块;所述生成模块用于分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数,并每一个所述另一侧声音输入信号的滤波函数发送给所述卷积滤波模块;所述卷积滤波模块用于分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的滤波函数进行卷积滤波得到所述另一侧滤波信号,并将所有所述另一侧滤波信号发送给所述合成模块;所述合成模块用于将所有所述一侧声音输入信号与所有所述另一侧滤波信号合成虚拟立体声信号。
结合第二方面,本申请第二方面第一种可能的实施方式为:所述生成模块包括比值单元和转换单元;所述比值单元用于分别将每一个所述另一侧声音输入信号的左耳频域参数和右耳频域参数的比值作为每一个所述另一侧声音输入信号的滤波频域函数,并将每一个所述另一侧声音输入信号的滤波频域函数发送给所述转换单元,其中,所述左耳频域参数表示所述另一侧声音输入信号的预设HRTF左耳分量,所述右耳频域参数表示所述另一侧声音输入信号的预设HRTF右耳分量;所述转换单元用于分别将每一个所述另一侧声音输入信号的滤波频域函数转换为时域,作为每一个所述另一侧声音输入信号的滤波函数。
结合第二方面的第一种可能的实施方式,本申请第二方面第二种可能的实施方式为:所述转换单元进一步用于分别对每一个所述另一侧声音输入信号的滤波频域函数进行最小相位滤波后转换为时域,作为每一个所述另一侧声音输入信号的滤波函数。
结合第二方面的第一或第二种可能的实施方式,本申请第二方面第三种可能的实施方式为:所述生成模块包括处理单元;所述处理单元用于分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量的频域作为每一个所述另一侧声音输入信号的右耳频域参数;或者,分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量进行扩散场均衡或子带平滑后的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量进行扩散场均衡或子带平滑后的频域作为每一个所述另一侧声音输入信号的右耳频域参数;或者,分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量依序进行扩散场均衡、子带平滑后的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量依序进行扩散场均衡、子带平滑后的频域作为每一个所述另一侧声音输入信号的右耳频域参数,并将所述左耳、右耳频域参数发送给比值单元。
结合第二方面或第一至第三任一种可能的实施方式,本申请第二方面第四种可能的实施方式为:还包括混响处理模块;所述混响处理模块用于分别将每一个所述另一侧声音输入信号进行混响处理后作为另一侧声音混响信号,并将所有所述另一侧声音混响信号输出至所述卷积滤波模块;所述卷积滤波模块进一步用于分别将每一个所述另一侧声音混响信号与对应的所述另一侧声音输入信号的滤波函数进行卷积滤波得到另一侧滤波信号。
结合第二方面的第四种可能的实施方式,本申请第二方面第五种可能的实施方式为:所述混响处理模块具体用于分别将每一个所述另一侧声音输入信号通过全通滤波器得到每一个所述另一侧声音输入信号的混响信号,分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的混响信号合成另一侧声音混响信号。
结合第二方面或第一至第五任一种可能的实施方式,本申请第二方面第六种可能的实施方式为:所述合成模块包括合成单元和音色均衡单元;所述合成单元用于对所有所述一侧声音输入信号与所有所述另一侧滤波信号求和获得合成信号,并将所述合成信号发送给所述音色均衡单元;所述音色均衡单元用于利用4阶无限冲激响应IIR滤波器对所述合成信号进行音色均衡后作为虚拟立体声信号。
通过上述方案,本申请对每个另一侧声音输入信号的预设HRTF数据的左、右耳分量进行比值处理以获得保留所述预设HRTF数据的方位信息的滤波函数,使得合成虚拟立体声时,只需利用滤波函数对所述另一侧的声音输入信号进行卷积滤波处理,再与原始的所述一侧声音输入信号合成得到虚拟立体声,无需同时对两侧声音输入信号进行卷积滤波,大大降低了计算的复杂度,且由于合成时,其中一侧的声音输入信号无需经过卷积处理,保留了原始的音频,进而减轻了音染效应,改善了虚拟立体声的音质。
附图说明
图1是现有技术虚拟声合成示意图;
图2是本申请虚拟立体声合成方法一实施方式的流程图;
图3是本申请虚拟立体声合成方法另一实施方式的流程图;
图4是获得图3所示的步骤S302中所述另一侧声音输入信号的滤波函数的方法的流程图;
图5是图3所示的步骤S303中所采用的全通滤波器的结构示意图;
图6是本申请虚拟立体声合成装置一实施方式的结构示意图;
图7是本申请虚拟立体声合成装置另一实施方式的结构示意图;
图8是本申请虚拟立体声合成装置再一实施方式的结构示意图。
具体实施方式
下面结合附图和具体的实施方式进行说明。
请参阅图2,图2是本申请虚拟立体声合成方法一实施方式的流程图。本实施方式中,所述方法包括以下步骤:
步骤S201:虚拟立体声合成装置获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号
本发明通过对原始声音信号进行处理,获得具有立体声音效果的输出声信号。本实施方式中,位于一侧的模拟声源共有M个,相应地产生M个一侧声音输入信号,位于另一侧的模拟声源共有K个,相应地产生K个另一侧声音输入信号,虚拟立体声合成装置获取作为原始声音信号的M个一侧声音输入信号和K个另一侧声音输入信号其中,表示第m个一侧声音输入信号,表示第k个另一侧声音输入信号,1≤m≤M,1≤k≤K。
通常地,本发明所述一侧和另一侧声音输入信号以模拟从人工头中心的左、右侧位置发出的声信号进行区分,例如,一侧声音输入信号为左侧声音输入信号,则另一侧声音输入信号为右侧声音输入信号;一侧声音输入信号为右侧声音输入信号,则另一侧声音输入信号为左侧声音输入信号,其中,左侧声音输入信号即为模拟从人工头中心的左侧位置发出的声信号,右侧声音输入信号为模拟从人头中心的右侧位置发出的声信号。具体举例,双声道移动终端中的左声道信号即为左侧声音输入信号,右声道信号即为右侧声音输入信号,使用耳机播放声音时,虚拟立体合成装置分别获取作为原始声音信号的左、右声道信号,并将左、右声道信号分别作为一侧、另一侧声音输入信号。或者,对于一些重放信号源中包括四个声道信号的移动终端,所述四个声道信号的模拟声源分别为与人工头中心的正前方水平夹角为±30°、±110°,其仰角为0°,一般定义水平夹角为正数角度(+30°、+110°)的声道信号为右侧声音输入信号,水平夹角为负数角度(-30°、-110°)的声道信号为左侧声音输入信号。使用耳机播放声音时,虚拟立体声合成装置获取左、右侧声音输入信号分别作为一侧、另一侧声音输入信号。
步骤S202:虚拟立体声合成装置分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数
在此对预设相关传输函数(Head Related Transfer Function,简称HRTF)进行简单介绍,HRTF数据为在实验室中测量到的从某一位置声源到人工头双耳的传输路径滤波器模型数据,它表达了人体生理结构对该声源位置的声波的综合滤波作用,其中,所述声源到人工头中心的水平角为θ、仰角为现有技术已可提供不同的HRTF实验测量数据库,本发明可直接从现有技术的HRTF实验测量数据库中获取预设声源的HRTF数据,无需自身进行测量获得,而模拟声源位置即为其对应预设的HRTF数据测量时的声源位置。本实施方式中,每个所述声音输入信号对应来自不同的预设模拟声源,故均对应地预设一不同的HRTF数据,每个声音输入信号的预设HRTF数据可表达出该声音输入信号从预设位置传至双耳的滤波效果。具体,所述第k个另一侧声音输入信号的预设HRTF数据包括两个数据,分别为表达该声音输入信号到人工头左耳的滤波效果的左耳分量和表达该声音输入信号到人工头右耳的滤波效果的右耳分量
虚拟立体声合成装置将每一个所述另一侧声音输入信号的预设HRTF数据中的左耳分量与右耳分量进行比值处理,以获得每一个所述另一侧声音输入信号的滤波函数例如,直接将所述另一侧声音输入信号的预设HRTF左耳分量与预设HRTF右耳分量转换成频域后进行比值运算得到的值作为所述另一侧声音输入信号的滤波函数,或者先将所述另一侧声音输入信号的预设HRTF左耳分量与预设HRTF右耳分量转换成频域后进行子带平滑,再进行比值运算得到的值作为滤波函数等。
步骤S203:虚拟立体声合成装置分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的滤波函数进行卷积滤波得到所述另一侧滤波信号
虚拟立体声合成装置根据公式计算出每个另一侧声音输入信号对应的另一侧滤波信号其中,所述conv(x,y)表示向量x,y的卷积,表示第k个另一侧滤波信号,表示第k个另一侧声音输入信号的滤波函数,表示第k个另一侧声音输入信号。
步骤S204:虚拟立体声合成装置将所有所述一侧声音输入信号与所有所述另一侧滤波信号合成虚拟立体声信号s1(n)。
虚拟立体声合成装置根据将步骤S201获得的所有一侧声音输入信号与步骤S203获得的所有另一侧滤波信号合成为虚拟立体声信号s1(n)。
本实施方式对每个另一侧声音输入信号的预设HRTF数据的左、右耳分量进行比值处理以获得保留所述预设HRTF数据的方位信息的滤波函数,使得合成虚拟立体声时,只需利用滤波函数对另一侧声音输入信号进行卷积滤波处理,再与所述一侧声音输入信号合成得到虚拟立体声,无需同时对两侧声音输入信号进行卷积滤波,大大降低了计算的复杂度,且由于合成时,一侧声音输入信号无需经过卷积处理,保留了原始的音频,进而减轻了音染效应,改善了虚拟立体声的音质。
需要说明的是,本实施方式所产生的虚拟立体声为输入一侧耳朵的虚拟立体声,例如,如果所述一侧声音输入信号为左侧声音输入信号,所述另一侧声音输入信号为右侧声音输入信号,则根据上述步骤获得的虚拟立体声信号为直接输入至左耳的左耳虚拟立体声信号;如果所述一侧声音输入信号为右侧声音输入信号,所述另一侧声音输入信号为左侧声音输入信号,则根据上述步骤获得的虚拟立体声信号为直接输入至右耳的右耳虚拟立体声信号。通过上述方式,虚拟立体声合成装置可分别获得左耳虚拟立体声信号和右耳虚拟立体声信号,并通过耳机对应输出至双耳,形成如自然声般的立体效果。
另外,在虚拟声源的位置均固定不变的实施方式中,虚拟立体声合成装置并不限定在每次进行虚拟立体声合成(如每次使用耳机重放)时执行步骤S202。由于每个声音输入信号的HRTF数据表示的是该声音输入信号从声源到人工头双耳的传输路径滤波器模型数据,在声源位置不变的情况下,该声源产生的声音输入信号到人工头双耳的传输路径滤波器模型数据是不变的,故可将步骤S202分离出来,预先执行步骤202获取每一个声音输入信号的滤波函数并保存,在进行虚拟立体声合成时直接获取预先保存的另一侧声音输入信号的滤波函数对另一侧虚拟声源产生的另一侧声音输入信号进行卷积滤波,上述情况仍属于本发明虚拟立体声合成方法的保护范围。
请参阅图3,图3是本发明虚拟立体声合成方法另一实施方式的流程图。本实施方式中,所述方法包括以下步骤:
步骤S301:虚拟立体声合成装置获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号
具体,虚拟立体声合成装置获取作为原始声音信号的至少一个一侧声音输入信号和至少一个另一侧声音输入信号其中,表示第m个一侧声音输入信号,表示第k个另一侧声音输入信号,本实施方式中,一侧声音输入信号共有M个,另一侧声音输入信号共有K个,1≤m≤M,1≤k≤K。
步骤S302:分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数
虚拟立体声合成装置将每一个所述另一侧声音输入信号的预设HRTF数据中的左耳分量与右耳分量进行比值处理,以获得每一个所述另一侧声音输入信号的滤波函数
对具体获得所述另一侧声音输入信号的滤波函数的方法进行举例说明,请参阅图4,图4是获得图3所示的步骤S302中另一侧声音输入信号的滤波函数的方法的流程图。虚拟立体声合成装置获取每一个另一侧声音输入信号的滤波函数均包括以下步骤:
步骤S401:虚拟立体声合成装置对所述另一侧声音输入信号的预设HRTF数据进行扩散场均衡。
所述第k个另一侧声音输入信号的预设HRTF用表示,其中,所述第k个另一侧声音输入信号所模拟的声源到人工头中心的水平角为θk、仰角为包括左耳分量和右耳分量两个数据。一般,实验室测量得到的预设HRTF不仅包含作为声源的扬声器到人工头双耳的传输路径滤波器模型数据,还包括扬声器的频响、设置在双耳处以接收扬声器信号的麦克风的频响以及人工耳耳道的频响等干扰数据。这些干扰数据会影响合成虚拟声中的方位感和距离感,因此,本实施方式采用最优化的方式,利用扩散场均衡去掉上述干扰数据。
(1)具体,计算所述另一侧声音输入信号的预设HRTF数据的频域为
(2)计算另一侧声音输入信号的预设HRTF数据频域在所有方向上的平均能量谱DF_avg(n):
其中,|表示的模,所述P、T为所在的HRTF实验测量数据库中所包括的测试声源到人工头中心的仰角个数P和测试声源到人工头中心的水平角个数T,本发明采用不同实验测量数据库中的HRTF数据,其仰角个数P和水平个数T可能不同。
(3)将平均能量谱DF_avg(n)求逆,得到所述预设HRTF数据频域平均能量谱的逆DF_inv(n):
DF _ inv ( n ) = 1 DF _ avg ( n )
(4)将所述预设HRTF数据频域平均能量谱的逆DF_inv(n)变换到时域并取实值得到预设HRTF数据平均逆滤波序列df_inv(n):
df_inv(n)=real(InvFT(DF_inv(n)))
InvFT()表示求傅里叶反变换,real(x)表示求复数x的实数部分。
(5)将另一侧声音输入信号的预设HRTF数据与所述预设HRTF数据平均逆滤波序列df_inv(n)进行卷积,得到扩散场均衡后的预设HRTF数据
其中,conv(x,y)表示向量x,y的卷积,包括经扩散场均衡后的预设HRTF左耳分量和预设HRTF右耳分量
虚拟立体声合装置对所述另一侧声音输入信号的预设HRTF数据进行上述(1)至(5)处理,以得到经过扩散场均衡后的HRTF数据
步骤S402:对所述扩散场均衡后的预设HRTF数据进行子带平滑。
虚拟立体声合成装置将所述扩散场均衡后的预设HRTF数据变换至频域得到扩散场均衡后的预设HRTF数据频域其中,所述时域变换长度为N1,所述频域系数个数为N2,N2=N1/2+1。
虚拟立体声合成装置对所述扩散场均衡后的预设HRTF数据频域进行子带平滑并求模,作为子带平滑后的预设HRTF数据
其中, j min = n - bw ( n ) n - bw ( n ) > 1 1 n - bw ( n ) ≤ 1 j max = n + bw ( n ) n + bw ( n ) > M M n + bw ( n ) ≤ M ,
表示不大于x的最大整数,
hann(j)=0.5*(1-cos(2*π*j(2*bw(n)+1))),j=0…(2*bw(n)+1)。
步骤S403:将所述子带平滑后的预设HRTF左耳频域分量作为另一侧声音输入信号的左耳频域参数,将所述子带平滑后的预设HRTF右耳频域分量作为另一侧声音输入信号的右耳频域参数。其中,所述左耳频域参数表示所述另一侧声音输入信号的预设HRTF左耳分量,所述右耳频域参数表示所述另一侧声音输入信号的预设HRTF右耳分量,当然,在其他实施方式中,可以直接将所述另一侧声音输入信号的预设HRTF左耳分量作为左耳频域参数,或者将扩散场均衡后的预设HRTF左耳分量作为左耳频域参数,右耳频域参数同理。
步骤S404:分别将所述另一侧声音输入信号的左耳频域参数和右耳频域参数的比值作为所述另一侧声音输入信号的滤波频域函数
所述另一侧声音输入信号的左耳频域参数和右耳频域参数的比值,具体包括所述左耳频域参数和右耳频域参数的模间的比值以及辐角差,对应作为获得所述另一侧声音输入信号的滤波频域函数中的模和辐角,且获得的滤波函数能够保留另一侧声音输入信号的预设HRTF左耳分量和预设HRTF右耳分量的方位信息。
本实施方式中,虚拟立体声合成装置对另一侧声音输入信号的左耳频域参数和右耳频域参数进行比值计算。具体,另一侧声音输入信号的滤波频域函数的模由得到,滤波频域函数的辐角由得到,进而获得所述另一侧声音输入信号的滤波频域函数其中,分别表示经过子带平滑后的预设HRTF数据的左耳分量和右耳分量,分别表示经过扩散场均衡后的预设HRTF数据的频域的左耳分量和右耳分量。由于子带平滑只会对复数的模值进行处理,即子带平滑后得到的值是复数的模值,不包含辐角信息。因此,在求滤波频域函数的辐角就则需要使用能够代表预设HRTF数据且包含辐角信息的频域参数,比如扩散场均衡后的HRTF左右分量。
需要说明的是,上述描述进行扩散场均衡和子带平滑时,为对预设HRTF数据进行处理,但是由于预设HRTF数据本身就包含左耳分量和右耳分量两个数据,故,实际上相当于对预设HRTF的左耳分量和右耳分量分别进行扩散场均衡和子带平滑。
步骤S405:对所述另一侧声音输入信号的滤波频域函数进行最小相位滤波后转换为时域,作为所述另一侧声音输入信号的滤波函数
上述获得的滤波频域函数可表示为一个位置无关的时延加上一个最小相位滤波器,对获得的滤波频域函数进行最小相位滤波,以达到缩短数据长度,减少虚拟立体声合成时的计算复杂度,同时不影响主观指令。具体,
(1)虚拟立体声合成装置对上述获得的滤波频域函数的模扩展到其时域变换长度N1,并求对数值:
其中,ln(x)是x的自然对数,N1为滤波频域函数的时域的时域变换长度,N2为滤波频域函数频域系数个数。
(2)对(1)获得的滤波频域函数的模进行Hilbert变换:
其中,Hilbert()表示Hilbert变换。
(3)获得最小相位滤波器
(4)计算时延
(5)将最小相位滤波器变换到时域得到
其中,InvFT()表示傅里叶反变换,real()表示复数x的实数部分。
(6)对最小相位滤波器时域进行按长度N0截断,并加入时延
由于(3)获得的最小相位滤波器的较大值系数集中在前部,截断后部较小系数后,滤波效果差别不大。故,一般地,为降低计算的复杂度,对最小相位滤波器时域进行按长度N0截断,其中,长度N0值的选取可以按如下步骤:将最小相位滤波器时域从后向前依次与预设阈值e比较,系数小于e则去掉,继续比较前一个,直到某个系数值大于e时停止,剩下系数的总长度为N0,预设阈值e可取为0.01。
根据上述步骤S401-405最终得到剪裁后的滤波函数以作为所述另一侧声音输入信号的滤波函数。
需要说明的是,上述获得另一侧声音输入信号的滤波函数的例子作为最优化的方式,对所述另一侧声音输入信号的预设HRTF数据的左耳分量和右耳分量依序进行扩散场均衡、子带平滑、比值计算及最小相位滤波后获得所述另一侧声音输入信号的滤波函数但在其他实施方式中,也可直接将另一侧声音输入信号的预设HRTF数据左耳分量和右耳分量的频域分别作为左耳频域参数和右耳频域参数,并根据公式进行比值计算,获得所述另一侧声音输入信号的滤波频域函数并转换为时域获得另一侧声音输入信号的滤波函数或者,将获得扩散场均衡后的预设HRTF数据左耳分量和右耳分量转换为频域后分别作为左耳频域参数和右耳频域参数并根据公式进行比值运算,获得滤波频域函数并转换为时域获得另一侧声音输入信号的滤波函数或者,根据直接对所述另一侧声音输入信号的预设HRTF数据进行子带平滑,并将子带平滑后预设HRTF数据左耳分量和右耳分量分别作为左耳频域参数和右耳频域参数,再根据公式进行比值计算并及最小相位滤波获得所述另一侧声音输入信号的滤波函数其中,步骤S402子带平滑的步骤一般随步骤S405最小相位滤波步骤而设置的,即若不进行所述最小相位滤波步骤,则不进行子带平滑步骤。在最小相位滤波步骤前添加子带平滑步骤,进一步缩短了所述获得的另一侧声音输入信号的滤波函数的数据长度,进而进一步减少虚拟立体声合成时的计算复杂度。
步骤S303:分别将每一个所述另一侧声音输入信号进行混响处理后作为另一侧声音混响信号
虚拟立体声合成装置获取至少一个另一侧声音输入信号后,分别对每一个所述另一侧声音输入信号进行混响处理,以增加实际声音传播时环境反射、散射等滤波效果,增强输入信号的空间感。本实施方式中,混响处理利用全通滤波器实现。具体如下:
(1)如图5,利用三个级联的施罗德(Schroeder)全通滤波器对每个另一侧声音输入信号进行滤波,获得每个另一侧声音输入信号的混响信号
s 2 k ‾ ( n ) = conv ( h k ( n ) , s 2 k ( n - d k ) )
其中,conv(x,y)表示向量x,y的卷积,dk为第k个另一侧声音输入信号的预设时延,hk(n)为第k个另一侧声音输入信号的全通滤波器,其传输函数为:
H k ( z ) = - g k 1 + z - M k 1 1 - g k 1 * z M k 1 * - g k 2 + z - M k 2 1 - g k 2 * z M k 2 * - g k 3 + z - M k 3 1 - g k 3 * z M k 3
其中,为对应第k个另一侧声音输入信号的预设全通滤波器增益,为对应第k个另一侧声音输入信号的预设全通滤波器时延。
(2)分别将每一个所述另一侧声音输入信号加入所述另一侧声音输入信号的混响信号以获得每个所述另一侧声音输入信号对应的另一侧声音混响信号
s 2 k ^ ( n ) = s 2 k ( n ) + w k · s 2 k ‾ ( n )
其中,wk为所述第k个另一侧声音输入信的混响信号的预设权重,一般权重越大,信号空间感越强,但同时带来的负面效果也越大(例如,语音不清晰、打击乐模糊等),本实施方式中,所述另一侧声音输入信号的权值的确定为预先根据实验结果适当选取增强所述另一侧声音输入信号空间感同时不带来负面效应的值作为所述混响信号的权值wk
步骤S304:分别将每一个所述另一侧声音混响信号与对应的所述另一侧声音输入信号的滤波函数进行卷积滤波得到另一侧滤波信号
在分别对每一个所述至少一个另一侧声音输入信号进行混响处理获得所述另一侧声音混响信号后,虚拟立体声合成装置根据公式对每一个所述另一侧声音混响信号进行卷积滤波以获得所述另一侧滤波信号表示第k个另一侧声音滤波信号信号,表示第k个另一侧声音输入信号的滤波函数,表示第k个另一侧声音混响信号。
步骤S305:对所有所述一侧声音输入信号与所有所述另一侧滤波信号求和获得合成信号
具体,虚拟立体声合成装置根据公式获得对应所述一侧的合成信号如一侧声音输入信号为左侧声音输入信号,则获得左耳合成信号,一侧声音输入信号为右侧声音输入信号时,则获得右耳合成信号。
步骤S306:利用4阶无限冲激响应IIR滤波器对所述合成信号进行音色均衡后作为虚拟立体声信号s1(n)。
虚拟立体声合成装置对合成信号进行音色均衡,以减少所述另一侧声音输入信号进行卷积滤波后对合成信号的音染效果。本实施方式采用4阶无限冲激响应IIR滤波器eq(n)进行音色均衡。具体由公式得到最后输出至所述一侧耳朵的虚拟立体声信号s1(n)。
其中,eq(n)的传输函数为 H ( z ) = b 1 + b 2 z - 1 + b 3 z - 2 + b 4 z - 3 + b 5 z - 4 a 1 + a 2 z - 1 + a 3 z - 2 + a 4 z - 3 + a 5 z - 4 ,
b1=1.24939117710166a1=1
b2=-4.72162304562892a2=-3.76394096632083
b3=6.69867047060726,a3=5.31938925722012
b4=-4.22811576399464a4=-3.34508050090584
b5=1.00174331383529a5=0.789702281674921
为能够更好理解本申请虚拟立体声合成方法在实际中的使用,进一步举例说明,对于使用耳机重放双声道终端产生的声音,其中,左声道信号为左侧声音输入信号sl(n),右声道信号为右侧声音输入信号sr(n),其中,左侧声音输入信号sl(n)的预设HRTF数据为右侧声音输入信号sr(n)的预设HRTF数据为
虚拟立体声合成装置分别根据上述步骤S401至S405分别对左侧声音输入信号的预设HRTF数据和右侧声音输入信号的预设HRTF数据进行处理,获得裁剪后的左侧声音输入信号的滤波函数右侧声音输入信号的滤波函数本例子中左右声道信号的预设HRTF数据的水平角θl=90°、θr=-90°,仰角均为0°,即左侧声音输入信号的滤波函数的水平角值为互为相反数,仰角相同,故为相同的函数。
虚拟立体声合成装置获取左侧声音输入信号sl(n)作为一侧声音输入信号,右侧声音输入信号sr(n)作为另一侧声音输入信号。虚拟立体声合成装置执行步骤S303对右侧声音输入信号进行混响处理,具体,先根据 s r ‾ ( n ) = conv ( h r ( n ) , s r ( n - d r ) ) , H r ( z ) = - g r 1 + z - M r 1 1 - g r 1 * z M r 1 * - g r 2 + z - M r 2 1 - g r 2 * z M r 2 * - g r 3 + z - M r 3 1 - g r 3 * z M r 3 获得右侧声音输入信号的混响信号根据获得右侧声音混响信号虚拟立体声合成装置执行步骤S304-S306获得左耳虚拟立体声信号sl(n);同理地,虚拟立体声合成装置获取右侧声音输入信号sr(n)作为一侧声音输入信号,左侧声音输入信号sl(n)作为另一侧声音输入信号。虚拟立体声合成装置执行步骤S303对左侧声音输入信号进行混响处理,具体,先根据 H l ( z ) = - g l 1 + z - M l 1 1 - g l 1 * z M l 1 * - g l 2 + z - M l 2 1 - g l 2 * z M l 2 * - g l 3 + z - M l 3 1 - g l 3 * z M l 3 获得左侧声音输入信号的混响信号根据获得左侧声音混响信号虚拟立体声合成装置执行步骤S304-S306获得右耳虚拟立体声信号sr(n)。所述左侧声音输入信号sl(n)从左侧耳机重放,以进入用户左耳,所述右耳虚拟立体声信号sr(n)从右侧耳机重放,,以进入用户右耳,形成立体听觉效果。
其中,上述例子中的常数取值为:
T=72,P=1,N=512,N0=48,fs=44100,
dl=220,dr=264,
g l 1 = g l 2 = g l 3 = g r 1 = g r 2 = g r 3 = 0.6 ,
M l 1 = M r 1 = 220 , M l 2 = M r 2 = 132 , M l 3 = M r 3 = 74 ,
wl=wr=0.4225,
θ=45°,
上述常数的取值由经多次实验而获得的具有最佳虚拟立体声信号重放效果的数值,当然,在其他实施方式中,还可取其他数值,在此对,本实施方式中的常数取值不作具体限定。
本实施方式作为优化实施方式,执行步骤S303、S304、S305、S306依序进行混响处理、卷积滤波运算、合成虚拟立体声、音色均衡,最终获得虚拟立体声。但在其他实施方式中,可选择性执行步骤S303、S306,例如不执行步骤S303、S306,直接利用另一侧声音输入信号的滤波函数对另一侧声音输入信号进行卷积滤波,获得另一侧滤波信号并执行步骤S304、S305得到合成信号并作为最终的虚拟立体声信号s1(n);或者不执行步骤S306,执行步骤S303至S305进行混响处理、卷积滤波运算并合成获得的合成信号作为虚拟立体声信号sl(n);或者,不执行步骤S303,直接执行步骤S304对另一侧声音输入信号进行卷积滤波,获得另一侧滤波信号并执行步骤S305、S306得到最终的虚拟立体声信号s1(n)。
本实施方式,对另一侧声音输入信号进行混响处理,增强了合成的虚拟立体声的空间感,并在合成虚拟立体声时,利用滤波器对虚拟立体声进行音色均衡,减少了音染效果。同时,本实施方式,对现有的HRTF数据进行改进,对HRTF数据先进行扩散场均衡以去除HRTF数据中的干扰数据,再通过对HRTF数据中的左耳分量和右耳分量进行比值运算,以获得保留了该HRTF数据左右耳数方位信息的改进HRTF数据即本申请中的滤波函数,使得只需对所述另一侧声音输入信号进行对应的卷积滤波,即可获得重放效果较好的虚拟立体声,因而,本实施方法合成虚拟立体声区别于现有对两侧声音输入信号均进行卷积滤波,大大减低了计算复杂大,而且其中一侧完全保留原本的输入信号,降低了音染效果,进一步地,本实施方式还结合子带平滑、最小相位滤波对滤波函数进行处理,减少滤波函数的数据长度,进而,进一步地减少了计算复杂度。
请参阅图6,图6是本申请虚拟立体声合成装置一实施方式的结构示意图。本实施方式中,所述虚拟立体声合成装置包括获取模块610、生成模块620、卷积滤波模块630和合成模块640。
获取模块610用于获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号并发送给生成模块620和卷积滤波模块630。
本发明通过对原始声音信号进行处理,获得具有立体声音效果的输出声信号。本实施方式中,位于一侧的模拟声源共有M个,相应地产生M个一侧声音输入信号,位于另一侧的模拟声源共有K个,相应地产生K个另一侧声音输入信号,获取模块610获取作为原始声音信号的M个一侧声音输入信号和K个另一侧声音输入信号其中,表示第m个一侧声音输入信号,表示第k个另一侧声音输入信号,1≤m≤M,1≤k≤K。
通常地,本发明所述一侧和另一侧声音输入信号以模拟从人工头中心的左、右侧位置发出的声信号进行区分,例如,一侧声音输入信号为左侧声音输入信号,则另一侧声音输入信号为右侧声音输入信号;一侧声音输入信号为右侧声音输入信号,则另一侧声音输入信号为左侧声音输入信号,其中,左侧声音输入信号即为模拟从人工头中心的左侧位置发出的声信号,右侧声音输入信号为模拟从人头中心的右侧位置发出的声信号。
生成模块620用于分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数并每一个所述另一侧声音输入信号的滤波函数发送给所述卷积滤波模块630。
现有技术已可提供不同的HRTF实验测量数据库,生成模块620可直接从现有技术的HRTF实验测量数据库中获取HRTF数据以进行预设,无需自身进行测量获得,而声音输入信号模拟声源位置即为其对应预设的HRTF数据测量时的声源位置。本实施方式中,每个所述声音输入信号对应来自不同的预设模拟声源,故均对应地预设一不同的HRTF数据,每个声音输入信号的预设HRTF数据可表达出该声音输入信号从预设位置传至双耳的滤波效果。具体,所述第k个另一侧声音输入信号的预设HRTF数据包括两个数据,分别为表达该声音输入信号到人工头左耳的滤波效果的左耳分量和表达该声音输入信号到人工头右耳的滤波效果的右耳分量
生成模块620将每一个所述另一侧声音输入信号的预设HRTF数据中的左耳分量与右耳分量进行比值处理,以获得每一个所述另一侧声音输入信号的滤波函数例如,直接将所述另一侧声音输入信号的预设HRTF左耳分量与预设HRTF右耳分量转换成频域后进行比值运算得到的值作为所述另一侧声音输入信号的滤波函数,或者先将所述另一侧声音输入信号的预设HRTF左耳分量与预设HRTF右耳分量转换成频域后进行子带平滑,再进行比值运算得到的值作为滤波函数等。
卷积滤波模块630用于分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的滤波函数进行卷积滤波得到所述另一侧滤波信号并将所有所述另一侧滤波信号发送给所述合成模块640。
卷积滤波模块630根据公式计算出每个另一侧声音输入信号对应的另一侧滤波信号其中,所述conv(x,y)表示向量x,y的卷积,表示第k个另一侧滤波信号,表示第k个另一侧声音输入信号的滤波函数,表示第k个另一侧声音输入信号。
合成模块640用于将所有所述一侧声音输入信号与所有所述另一侧滤波信号合成虚拟立体声信号s1(n)。
合成模块640根据将接收到的所有一侧声音输入信号与所有另一侧滤波信号合成为虚拟立体声信号s1(n)。
本实施方式对每个另一侧声音输入信号的预设HRTF数据的左、右耳分量进行比值处理以获得保留所述预设HRTF数据的方位信息的滤波函数,使得合成虚拟立体声时,只需利用滤波函数对另一侧声音输入信号进行卷积滤波处理,再与所述一侧声音输入信号合成得到虚拟立体声,无需同时对两侧声音输入信号进行卷积滤波,大大降低了计算的复杂度,且由于合成时,一侧声音输入信号无需经过卷积处理,保留了原始的音频,进而减轻了音染效应,改善了虚拟立体声的音质。
需要说明的是,本实施方式所产生的虚拟立体声为输入一侧耳朵的虚拟立体声,例如,如果所述一侧声音输入信号为左侧声音输入信号,所述另一侧声音输入信号为右侧声音输入信号,则由上述模块获得的虚拟立体声信号为直接输入至左耳的左耳虚拟立体声信号;如果所述一侧声音输入信号为右侧声音输入信号,所述另一侧声音输入信号为左侧声音输入信号,则由上述模块获得的虚拟立体声信号为直接输入至右耳的右耳虚拟立体声信号。通过上述方式,虚拟立体声合成装置可分别获得左耳虚拟立体声信号和右耳虚拟立体声信号,并通过耳机对应输出至双耳,形成如自然声般的立体效果。
请参阅图7,图7是本发明虚拟立体声合成装置另一实施方式的结构示意图。本实施方式中,所述虚拟立体声合成装置包括获取模块710、生成模块720、卷积滤波模块730、合成模块740和混响处理模块750,所述合成模块740包括合成单元741和音色均衡单元742。
获取模块710用于获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号
生成模块720用于分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数并发送给所述卷积滤波模块730。
进一步优化地,生成模块720包括处理单元721、比值单元722和转换单元723。
处理单元721用于分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量依序进行扩散场均衡、子带平滑后的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量依序进行扩散场均衡、子带平滑后的频域作为每一个所述另一侧声音输入信号的右耳频域参数,并将所述左耳、右耳频域参数发送给比值单元722。
a.处理单元721对所述另一侧声音输入信号的预设HRTF数据进行扩散场均衡。所述第k个另一侧声音输入信号的预设HRTF用表示,其中,所述第k个另一侧声音输入信号所模拟的声源到人工头中心的水平角为θk、仰角为包括左耳分量和右耳分量两个数据。一般,实验室测量得到的预设HRTF不仅包含作为声源的扬声器到人工头双耳的传输路径滤波器模型数据,还包括扬声器的频响、设置在双耳处以接收扬声器信号的麦克风的频响以及人工耳耳道的频响等干扰数据。这些干扰数据会影响合成虚拟声中的方位感和距离感,因此,本实施方式采用最优化的方式,利用扩散场均衡去掉上述干扰数据。
(1)具体,处理单元721计算所述另一侧声音输入信号的预设HRTF数据的频域为
(2)处理单元721计算另一侧声音输入信号的预设HRTF数据频域在所有方向上的平均能量谱DF_avg(n):
其中,表示的模,所述P、T为所在的HRTF实验测量数据库中所包括的测试声源到人工头中心的仰角个数P和测试声源到人工头中心的水平角个数T,本发明采用不同实验测量数据库中的HRTF数据,其仰角个数P和水平个数T可能不同。
(3)处理单元721将平均能量谱DF_avg(n)求逆,得到所述预设HRTF数据频域平均能量谱的逆DF_inv(n):
DF _ inv ( n ) = 1 DF _ avg ( n )
(4)处理单元721将所述预设HRTF数据频域平均能量谱的逆DF_inv(n)变换到时域并取实值得到预设HRTF数据平均逆滤波序列df_inv(n):
df_inv(n)=real(InvFT(DF_inv(n)))
InvFT()表示求傅里叶反变换,real(x)表示求复数x的实数部分。
(5)处理单元721将另一侧声音输入信号的预设HRTF数据与所述预设HRTF数据平均逆滤波序列df_inv(n)进行卷积,得到扩散场均衡后的预设HRTF数据
其中,conv(x,y)表示向量x,y的卷积,包括经扩散场均衡后的预设HRTF左耳分量和预设HRTF右耳分量
处理单元721对所述另一侧声音输入信号的预设HRTF数据进行上述(1)至(5)处理,以得到经过扩散场均衡后的HRTF数据
b.处理单元721对所述扩散场均衡后的预设HRTF数据进行子带平滑。将所述扩散场均衡后的预设HRTF数据变换至频域得到扩散场均衡后的预设HRTF数据频域其中,所述时域变换长度为N1,所述频域系数个数为N2,N2=N1/2+1。
处理单元721所述扩散场均衡后的预设HRTF数据频域进行子带平滑并求模,作为子带平滑后的预设HRTF数据
其中, j min = n - bw ( n ) n - bw ( n ) > 1 1 n - bw ( n ) ≤ 1 j max = n + bw ( n ) n + bw ( n ) > M M n + bw ( n ) ≤ M ,
表示不大于x的最大整数,
hann(j)=0.5*(1-cos(2*π*j/(2*bw(n)+1))),j=0…(2*bw(n)+1)。
c.处理单元721将所述子带平滑后的预设HRTF左耳频域分量作为另一侧声音输入信号的左耳频域参数,将所述子带平滑后的预设HRTF右耳频域分量作为另一侧声音输入信号的右耳频域参数。其中,所述左耳频域参数表示所述另一侧声音输入信号的预设HRTF左耳分量,所述右耳频域参数表示所述另一侧声音输入信号的预设HRTF右耳分量,当然,在其他实施方式中,可以直接将所述另一侧声音输入信号的预设HRTF左耳分量作为左耳频域参数,或者将扩散场均衡后的预设HRTF左耳分量作为左耳频域参数,右耳频域参数同理。
需要说明的是,上述描述进行扩散场均衡和子带平滑时,为对预设HRTF数据进行处理,但是由于预设HRTF数据本身就包含左耳分量和右耳分量两个数据,故,实际上相当于对预设HRTF的左耳分量和右耳分量分别进行扩散场均衡和子带平滑。
比值单元722用于分别将所述另一侧声音输入信号的左耳频域参数和右耳频域参数的比值作为所述另一侧声音输入信号的滤波频域函数所述另一侧声音输入信号的左耳频域参数和右耳频域参数的比值,具体包括所述左耳频域参数和右耳频域参数的模间的比值以及辐角差,对应作为获得所述另一侧声音输入信号的滤波频域函数中的模和辐角,且获得的滤波函数能够保留另一侧声音输入信号的预设HRTF左耳分量和预设HRTF右耳分量的方位信息。
本实施方式中,比值单元722对另一侧声音输入信号的左耳频域参数和右耳频域参数进行比值计算。具体,另一侧声音输入信号的滤波频域函数的模由得到,滤波频域函数的辐角由得到,进而获得所述另一侧声音输入信号的滤波频域函数其中,分别表示经过子带平滑后的预设HRTF数据的左耳分量和右耳分量,分别表示经过扩散场均衡后的预设HRTF数据的频域的左耳分量和右耳分量。由于子带平滑只会对复数的模值进行处理,即子带平滑后得到的值是复数的模值,不包含辐角信息。因此,在求滤波频域函数的辐角就则需要使用能够代表预设HRTF数据且包含辐角信息的频域参数,比如扩散场均衡后的HRTF左右分量。
转换单元723用于对所述另一侧声音输入信号的滤波频域函数进行最小相位滤波后转换为时域,作为所述另一侧声音输入信号的滤波函数上述获得的滤波频域函数可表示为一个位置无关的时延加上一个最小相位滤波器,对获得的滤波频域函数进行最小相位滤波,以达到缩短数据长度,减少虚拟立体声合成时的计算复杂度,同时不影响主观指令。具体,
(1)转换单元723对比值单元722获得的滤波频域函数的模扩展到其时域变换长度N1,并求对数值:
其中,ln(x)是x的自然对数,N1为滤波频域函数的时域的时域变换长度,N2为滤波频域函数频域系数个数。
(2)转换单元723对获得的滤波频域函数的模进行Hilbert变换:
其中,Hilbert()表示Hilbert变换。
(3)转换单元723获得最小相位滤波器
(4)转换单元723计算时延
(5)转换单元723将最小相位滤波器变换到时域得到
其中,InvFT()表示傅里叶反变换,real()表示复数x的实数部分。
(6)转换单元723对最小相位滤波器时域进行按长度N0截断,并加入时延
由于(3)获得的最小相位滤波器的较大值系数集中在前部,截断后部较小系数后,滤波效果差别不大。故,一般地,为降低计算的复杂度,对最小相位滤波器时域进行按长度N0截断,其中,长度N0值的选取可以按如下步骤:将最小相位滤波器时域从后向前依次与预设阈值e比较,系数小于e则去掉,继续比较前一个,直到某个系数值大于e时停止,剩下系数的总长度为N0,预设阈值e可取为0.01。
需要说明的是,上述生成模块获得的另一侧声音输入信号的滤波函数的例子作为最优化的方式,对所述另一侧声音输入信号的预设HRTF数据的左耳分量和右耳分量依序进行扩散场均衡、子带平滑、比值计算及最小相位滤波后获得所述另一侧声音输入信号的滤波函数但在其他实施方式中,选择性地进行扩散场均衡、子带平滑和最小相位滤波。其中,子带平滑的步骤一般随最小相位滤波步骤而设置的,即若不进行所述最小相位滤波步骤,则不进行子带平滑步骤。在最小相位滤波步骤前添加子带平滑步骤,进一步缩短了所述获得的另一侧声音输入信号的滤波函数的数据长度,进而进一步减少虚拟立体声合成时的计算复杂度。
混响处理模块750用于分别将每一个所述另一侧声音输入信号进行混响处理后作为另一侧声音混响信号并发送给卷积滤波模块730。
混响处理模块750获取至少一个另一侧声音输入信号后,分别对每一个所述另一侧声音输入信号进行混响处理,以增加实际声音传播时环境反射、散射等滤波效果,增强输入信号的空间感。本实施方式中,混响处理利用全通滤波器实现。具体如下:
(1)如图5,利用三个级联的施罗德(Schroeder)全通滤波器对每个另一侧声音输入信号进行滤波,获得每个另一侧声音输入信号的混响信号
s 2 k ‾ ( n ) = conv ( h k ( n ) , s 2 k ( n - d k ) )
其中,conv(x,y)表示向量x,y的卷积,dk为第k个另一侧声音输入信号的预设时延,hk(n)为第k个另一侧声音输入信号的全通滤波器,其传输函数为:
H k ( z ) = - g k 1 + z - M k 1 1 - g k 1 * z M k 1 * - g k 2 + z - M k 2 1 - g k 2 * z M k 2 * - g k 3 + z - M k 3 1 - g k 3 * z M k 3
其中,为对应第k个另一侧声音输入信号的预设全通滤波器增益,为对应第k个另一侧声音输入信号的预设全通滤波器时延。
(2)混响处理模块750分别将每一个所述另一侧声音输入信号加入所述另一侧声音输入信号的混响信号以获得每个所述另一侧声音输入信号对应的另一侧声音混响信号
s 2 k ^ ( n ) = s 2 k ( n ) + w k · s 2 k ‾ ( n )
其中,wk为所述第k个另一侧声音输入信的混响信号的预设权重,一般权重越大,信号空间感越强,但同时带来的负面效果也越大(例如,语音不清晰、打击乐模糊等),本实施方式中,所述另一侧声音输入信号的权值的确定为预先根据实验结果适当选取增强所述另一侧声音输入信号空间感同时不带来负面效应的值作为所述混响信号的权值wk
卷积滤波模块730用于分别将每一个所述另一侧声音混响信号与对应的所述另一侧声音输入信号的滤波函数进行卷积滤波得到另一侧滤波信号并发送给合成模块740。
在接收到所有另一侧声音混响信号后,卷积滤波模块730根据公式对每一个所述另一侧声音混响信号进行卷积滤波以获得所述另一侧滤波信号表示第k个另一侧声音滤波信号信号,表示第k个另一侧声音输入信号的滤波函数,表示第k个另一侧声音混响信号。
合成单元741用于对所有所述一侧声音输入信号与所有所述另一侧滤波信号求和获得合成信号并发送给音色均衡单元742。
具体,合成单元741根据公式获得对应所述一侧的合成信号如一侧声音输入信号为左侧声音输入信号,则获得左耳合成信号,一侧声音输入信号为右侧声音输入信号时,则获得右耳合成信号。
音色均衡单元742用于利用4阶无限冲激响应IIR滤波器对所述合成信号进行音色均衡后作为虚拟立体声信号s1(n)。
音色均衡单元742对合成信号进行音色均衡,以减少所述另一侧声音输入信号进行卷积滤波后对合成信号的音染效果。本实施方式采用4阶无限冲激响应IIR滤波器eq(n)进行音色均衡。具体由公式得到最后输出至所述一侧耳朵的虚拟立体声信号s1(n)。
其中,eq(n)的传输函数为 H ( z ) = b 1 + b 2 z - 1 + b 3 z - 2 + b 4 z - 3 + b 5 z - 4 a 1 + a 2 z - 1 + a 3 z - 2 + a 4 z - 3 + a 5 z - 4 ,
b1=1.24939117710166a1=1
b2=-4.72162304562892a2=-3.76394096632083
b3=6.69867047060726,a3=5.31938925722012
b4=-4.22811576399464a4=-3.34508050090584
b5=1.00174331383529a5=0.789702281674921
本实施方式作为优化实施方式,依序进行混响处理、卷积滤波运算、合成虚拟立体声、音色均衡,最终获得虚拟立体声。但在其他实施方式中,可不进行混响处理和/或音色均衡,在此不作限定。
需要说明的是,本申请虚拟立体声合成装置可以为独立于重放声音的设备,如手机、平板电脑、MP3等移动终端,也直接由所述重放声音设备执行上述功能。
请参阅图8,图8是虚拟立体声合成装置再一实施方式的结构示意图,本实施方式中,虚拟立体声合成装置包括处理器810及存储器820,其中所述处理器810与存储器820通过总线830连接。
存储器820用于存储处理器810执行的计算机指令以及处理器810工作时所需存储的数据。
处理器810执行存储器820存储的计算机指令,获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的滤波函数进行卷积滤波得到所述另一侧滤波信号将所有所述一侧声音输入信号与所有所述另一侧滤波信号合成虚拟立体声信号s1(n)。
具体,处理器810获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号其中,表示第m个一侧声音输入信号,表示第k个另一侧声音输入信号。
处理器810用于分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数
进一步优化地,处理器810分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量依序进行扩散场均衡、子带平滑后的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量依序进行扩散场均衡、子带平滑后的频域作为每一个所述另一侧声音输入信号的右耳频域参数。处理器810具体进行扩散场均衡和子带平滑的方式与上一实施方式的处理单元相同,请参阅相关文字描述,在此不作赘述。
处理器810分别将所述另一侧声音输入信号的左耳频域参数和右耳频域参数的比值作为所述另一侧声音输入信号的滤波频域函数具体,另一侧声音输入信号的滤波频域函数的模由得到,滤波频域函数的辐角由得到,进而获得所述另一侧声音输入信号的滤波频域函数其中,分别表示经过子带平滑后的预设HRTF数据的左耳分量和右耳分量,分别表示经过扩散场均衡后的预设HRTF数据的频域的左耳分量和右耳分量。
处理器810对所述另一侧声音输入信号的滤波频域函数进行最小相位滤波后转换为时域,作为所述另一侧声音输入信号的滤波函数上述获得的滤波频域函数可表示为一个位置无关的时延加上一个最小相位滤波器,对获得的滤波频域函数进行最小相位滤波,以达到缩短数据长度,减少虚拟立体声合成时的计算复杂度,同时不影响主观指令。处理器810具体进行最小相位滤波的方式与上一实施方式的转换单元相同,请参阅相关文字描述,在此不作赘述。
需要说明的是,上述处理器获得的另一侧声音输入信号的滤波函数的例子作为最优化的方式,对所述另一侧声音输入信号的预设HRTF数据的左耳分量和右耳分量依序进行扩散场均衡、子带平滑、比值计算及最小相位滤波后获得所述另一侧声音输入信号的滤波函数但在其他实施方式中,选择性地进行扩散场均衡、子带平滑和最小相位滤波。其中,子带平滑的步骤一般随最小相位滤波步骤而设置的,即若不进行所述最小相位滤波步骤,则不进行子带平滑步骤。在最小相位滤波步骤前添加子带平滑步骤,进一步缩短了所述获得的另一侧声音输入信号的滤波函数的数据长度,进而进一步减少虚拟立体声合成时的计算复杂度。
处理器810用于分别将每一个所述另一侧声音输入信号进行混响处理后作为另一侧声音混响信号以增加实际声音传播时环境反射、散射等滤波效果,增强输入信号的空间感。本实施方式中,混响处理利用全通滤波器实现。本实施方式中,混响处理利用全通滤波器实现。处理器810具体进行混响处理的方式与上一实施方式的混响处理模块相同,请参阅相关文字描述,在此不作赘述。
处理器810用于分别将每一个所述另一侧声音混响信号与对应的所述另一侧声音输入信号的滤波函数进行卷积滤波得到另一侧滤波信号在接收到所有另一侧声音混响信号后,处理器810根据公式对每一个所述另一侧声音混响信号进行卷积滤波以获得所述另一侧滤波信号表示第k个另一侧声音滤波信号信号,表示第k个另一侧声音输入信号的滤波函数,表示第k个另一侧声音混响信号
处理器810用于对所有所述一侧声音输入信号与所有所述另一侧滤波信号求和获得合成信号
具体,处理器810根据公式获得对应所述一侧的合成信号如一侧声音输入信号为左侧声音输入信号,则获得左耳合成信号,一侧声音输入信号为右侧声音输入信号时,则获得右耳合成信号。
处理器810用于利用4阶无限冲激响应IIR滤波器对所述合成信号进行音色均衡后作为虚拟立体声信号s1(n)。处理器810具体进行音色均衡的方式与上一实施方式的音色均衡单元相同,请参阅相关文字描述,在此不作赘述。
本实施方式作为优化实施方式,依序进行混响处理、卷积滤波运算、合成虚拟立体声、音色均衡,最终获得左右耳虚拟立体声。但在其他实施方式中,处理器可不进行混响处理和音色均衡,在此不作限定。
通过上述方案,本申请对每个另一侧声音输入信号的预设HRTF数据的左、右耳分量进行比值处理以获得保留所述预设HRTF数据的方位信息的滤波函数,使得合成虚拟立体声时,只需利用滤波函数对所述另一侧的声音输入信号进行卷积滤波处理,再与原始的所述一侧声音输入信号合成得到虚拟立体声,无需同时对两侧声音输入信号进行卷积滤波,大大降低了计算的复杂度,且由于合成时,其中一侧的声音输入信号无需经过卷积处理,保留了原始的音频,进而减轻了音染效应,改善了虚拟立体声的音质。
在本申请所提供的几个实施方式中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (14)

1.一种虚拟立体声合成方法,其特征在于,所述方法包括:
获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号;
分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数;
分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的滤波函数进行卷积滤波得到所述另一侧滤波信号;
将所有所述一侧声音输入信号与所有所述另一侧滤波信号合成虚拟立体声信号。
2.根据权利要求1所述的方法,其特征在于,所述分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数的步骤包括:
分别将每一个所述另一侧声音输入信号的左耳频域参数和右耳频域参数的比值作为每一个所述另一侧声音输入信号的滤波频域函数,其中,所述左耳频域参数表示所述另一侧声音输入信号的预设HRTF左耳分量,所述右耳频域参数表示所述另一侧声音输入信号的预设HRTF右耳分量;
分别将每一个所述另一侧声音输入信号的滤波频域函数转换为时域,作为每一个所述另一侧声音输入信号的滤波函数。
3.根据权利要求2所述的方法,其特征在于,所述分别将每一个所述另一侧声音输入信号的滤波频域函数转换为时域,作为每一个所述另一侧声音输入信号的滤波函数的步骤包括:
分别对每一个所述另一侧声音输入信号的滤波频域函数进行最小相位滤波后转换为时域,作为每一个所述另一侧声音输入信号的滤波函数。
4.根据权利要求2或3所述的方法,其特征在于,在所述分别将每一个所述另一侧声音输入信号的左耳频域参数和右耳频域参数的比值作为每一个所述另一侧声音输入信号的滤波频域函数的步骤之前,所述方法还包括:
分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量的频域作为每一个所述另一侧声音输入信号的右耳频域参数;
或者,分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量进行扩散场均衡或子带平滑后的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量进行扩散场均衡或子带平滑后的频域作为每一个所述另一侧声音输入信号的右耳频域参数;
或者,分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量依序进行扩散场均衡、子带平滑后的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量依序进行扩散场均衡、子带平滑后的频域作为每一个所述另一侧声音输入信号的右耳频域参数。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的滤波函数进行卷积滤波得到另一侧滤波信号的步骤具体包括:
分别将每一个所述另一侧声音输入信号进行混响处理后作为另一侧声音混响信号;
分别将每一个所述另一侧声音混响信号与对应的所述另一侧声音输入信号的滤波函数进行卷积滤波得到另一侧滤波信号。
6.根据权利要求5所述的方法,其特征在于,所述分别将每一个所述另一侧声音输入信号进行混响处理后作为另一侧声音混响信号的步骤包括:
分别将每一个所述另一侧声音输入信号通过全通滤波器得到每一个所述另一侧声音输入信号的混响信号;
分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的混响信号合成另一侧声音混响信号。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述将所有所述一侧声音输入信号与所有所述另一侧滤波信号合成虚拟立体声信号的步骤具体包括:
对所有所述一侧声音输入信号与所有所述另一侧滤波信号求和获得合成信号;
利用4阶无限冲激响应IIR滤波器对所述合成信号进行音色均衡后作为虚拟立体声信号。
8.一种虚拟立体声合成装置,其特征在于,所述装置包括获取模块、生成模块、卷积滤波模块及合成模块;
所述获取模块用于获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号,并发送给所述生成模块和卷积滤波模块;
所述生成模块用于分别对每一个所述另一侧声音输入信号的预设头相关传输函数HRTF左耳分量和预设头相关传输函数HRTF右耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数,并每一个所述另一侧声音输入信号的滤波函数发送给所述卷积滤波模块;
所述卷积滤波模块用于分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的滤波函数进行卷积滤波得到所述另一侧滤波信号,并将所有所述另一侧滤波信号发送给所述合成模块;
所述合成模块用于将所有所述一侧声音输入信号与所有所述另一侧滤波信号合成虚拟立体声信号。
9.根据权利要求8所述的装置,其特征在于,所述生成模块包括比值单元和转换单元;
所述比值单元用于分别将每一个所述另一侧声音输入信号的左耳频域参数和右耳频域参数的比值作为每一个所述另一侧声音输入信号的滤波频域函数,并将每一个所述另一侧声音输入信号的滤波频域函数发送给所述转换单元,其中,所述左耳频域参数表示所述另一侧声音输入信号的预设HRTF左耳分量,所述右耳频域参数表示所述另一侧声音输入信号的预设HRTF右耳分量;
所述转换单元用于分别将每一个所述另一侧声音输入信号的滤波频域函数转换为时域,作为每一个所述另一侧声音输入信号的滤波函数。
10.根据权利要求9所述的装置,其特征在于,
所述转换单元进一步用于分别对每一个所述另一侧声音输入信号的滤波频域函数进行最小相位滤波后转换为时域,作为每一个所述另一侧声音输入信号的滤波函数。
11.根据权利要求9或10所述的装置,其特征在于,所述生成模块包括处理单元;
所述处理单元用于分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量的频域作为每一个所述另一侧声音输入信号的右耳频域参数;或者,分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量进行扩散场均衡或子带平滑后的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量进行扩散场均衡或子带平滑后的频域作为每一个所述另一侧声音输入信号的右耳频域参数;或者,分别将每一个所述另一侧声音输入信号的预设HRTF左耳分量依序进行扩散场均衡、子带平滑后的频域作为每一个所述另一侧声音输入信号的左耳频域参数,分别将每一个所述另一侧声音输入信号的预设HRTF右耳分量依序进行扩散场均衡、子带平滑后的频域作为每一个所述另一侧声音输入信号的右耳频域参数,并将所述左耳、右耳频域参数发送给比值单元。
12.根据权利要求8至11任一项所述的装置,其特征在于,还包括混响处理模块;
所述混响处理模块用于分别将每一个所述另一侧声音输入信号进行混响处理后作为另一侧声音混响信号,并将所有所述另一侧声音混响信号输出至所述卷积滤波模块;
所述卷积滤波模块进一步用于分别将每一个所述另一侧声音混响信号与对应的所述另一侧声音输入信号的滤波函数进行卷积滤波得到另一侧滤波信号。
13.根据权利要求12所述的装置,其特征在于,所述混响处理模块具体用于分别将每一个所述另一侧声音输入信号通过全通滤波器得到每一个所述另一侧声音输入信号的混响信号,分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的混响信号合成另一侧声音混响信号。
14.根据权利要求8至13任一项所述的装置,其特征在于,所述合成模块包括合成单元和音色均衡单元;
所述合成单元用于对所有所述一侧声音输入信号与所有所述另一侧滤波信号求和获得合成信号,并将所述合成信号发送给所述音色均衡单元;
所述音色均衡单元用于利用4阶无限冲激响应IIR滤波器对所述合成信号进行音色均衡后作为虚拟立体声信号。
CN201310508593.8A 2013-10-24 2013-10-24 一种虚拟立体声合成方法及装置 Active CN104581610B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201310508593.8A CN104581610B (zh) 2013-10-24 2013-10-24 一种虚拟立体声合成方法及装置
EP14856259.8A EP3046339A4 (en) 2013-10-24 2014-04-24 METHOD AND DEVICE FOR VIRTUAL STEREOSYNTHESIS
PCT/CN2014/076089 WO2015058503A1 (zh) 2013-10-24 2014-04-24 虚拟立体声合成方法及装置
US15/137,493 US9763020B2 (en) 2013-10-24 2016-04-25 Virtual stereo synthesis method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310508593.8A CN104581610B (zh) 2013-10-24 2013-10-24 一种虚拟立体声合成方法及装置

Publications (2)

Publication Number Publication Date
CN104581610A true CN104581610A (zh) 2015-04-29
CN104581610B CN104581610B (zh) 2018-04-27

Family

ID=52992191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310508593.8A Active CN104581610B (zh) 2013-10-24 2013-10-24 一种虚拟立体声合成方法及装置

Country Status (4)

Country Link
US (1) US9763020B2 (zh)
EP (1) EP3046339A4 (zh)
CN (1) CN104581610B (zh)
WO (1) WO2015058503A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106658345A (zh) * 2016-11-16 2017-05-10 青岛海信电器股份有限公司 一种虚拟环绕声播放方法、装置和设备
CN106686508A (zh) * 2016-11-30 2017-05-17 努比亚技术有限公司 一种实现虚拟立体声的方法、装置及移动终端
CN107710784A (zh) * 2015-05-22 2018-02-16 微软技术许可有限责任公司 用于音频创建和传递的系统和方法
CN108476367A (zh) * 2016-01-19 2018-08-31 三维空间声音解决方案有限公司 用于沉浸式音频回放的信号的合成
CN109036446A (zh) * 2017-06-08 2018-12-18 腾讯科技(深圳)有限公司 一种音频数据处理方法以及相关设备
CN109683845A (zh) * 2017-10-18 2019-04-26 宏达国际电子股份有限公司 声音播放装置、方法及非暂态存储媒体
CN110035376A (zh) * 2017-12-21 2019-07-19 高迪音频实验室公司 使用相位响应特征来双耳渲染的音频信号处理方法和装置
CN110612727A (zh) * 2017-05-10 2019-12-24 Jvc建伍株式会社 头外定位滤波器决定系统、头外定位滤波器决定装置、头外定位决定方法以及程序
CN110856095A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
CN110856094A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
CN110972033A (zh) * 2018-09-28 2020-04-07 硅实验室公司 基于一个或多个射频(rf)信号接收和/或传输特性来修改音频数据信息的系统和方法
CN110998721A (zh) * 2017-07-28 2020-04-10 弗劳恩霍夫应用研究促进协会 用于使用宽频带滤波器生成的填充信号对已编码的多声道信号进行编码或解码的装置
CN113645531A (zh) * 2021-08-05 2021-11-12 高敬源 一种耳机虚拟空间声回放方法、装置、存储介质及耳机

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062410A1 (en) * 2004-09-21 2006-03-23 Kim Sun-Min Method, apparatus, and computer readable medium to reproduce a 2-channel virtual sound based on a listener position
US20080031462A1 (en) * 2006-08-07 2008-02-07 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
CN101184349A (zh) * 2007-10-10 2008-05-21 昊迪移通(北京)技术有限公司 针对双声道耳机设备的三维环响音效技术
CN101212843A (zh) * 2006-12-27 2008-07-02 三星电子株式会社 基于个体听觉特性的再现两声道立体声音响的方法和装置
CN101483797A (zh) * 2008-01-07 2009-07-15 昊迪移通(北京)技术有限公司 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072877A (en) * 1994-09-09 2000-06-06 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
US6768798B1 (en) * 1997-11-19 2004-07-27 Koninklijke Philips Electronics N.V. Method of customizing HRTF to improve the audio experience through a series of test sounds
KR20050060789A (ko) * 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
US8467552B2 (en) * 2004-09-17 2013-06-18 Lsi Corporation Asymmetric HRTF/ITD storage for 3D sound positioning
UA101542C2 (ru) * 2008-12-15 2013-04-10 Долби Лабораторис Лайсензин Корпорейшн Виртуализатор окружающего звука с динамическим сжатием диапазона и способ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060062410A1 (en) * 2004-09-21 2006-03-23 Kim Sun-Min Method, apparatus, and computer readable medium to reproduce a 2-channel virtual sound based on a listener position
US20080031462A1 (en) * 2006-08-07 2008-02-07 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
CN101212843A (zh) * 2006-12-27 2008-07-02 三星电子株式会社 基于个体听觉特性的再现两声道立体声音响的方法和装置
CN101184349A (zh) * 2007-10-10 2008-05-21 昊迪移通(北京)技术有限公司 针对双声道耳机设备的三维环响音效技术
CN101483797A (zh) * 2008-01-07 2009-07-15 昊迪移通(北京)技术有限公司 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107710784A (zh) * 2015-05-22 2018-02-16 微软技术许可有限责任公司 用于音频创建和传递的系统和方法
CN108476367B (zh) * 2016-01-19 2020-11-06 斯菲瑞欧声音有限公司 用于沉浸式音频回放的信号的合成
CN108476367A (zh) * 2016-01-19 2018-08-31 三维空间声音解决方案有限公司 用于沉浸式音频回放的信号的合成
CN106658345A (zh) * 2016-11-16 2017-05-10 青岛海信电器股份有限公司 一种虚拟环绕声播放方法、装置和设备
CN106686508A (zh) * 2016-11-30 2017-05-17 努比亚技术有限公司 一种实现虚拟立体声的方法、装置及移动终端
CN110612727A (zh) * 2017-05-10 2019-12-24 Jvc建伍株式会社 头外定位滤波器决定系统、头外定位滤波器决定装置、头外定位决定方法以及程序
CN109036446A (zh) * 2017-06-08 2018-12-18 腾讯科技(深圳)有限公司 一种音频数据处理方法以及相关设备
CN109036446B (zh) * 2017-06-08 2022-03-04 腾讯科技(深圳)有限公司 一种音频数据处理方法以及相关设备
CN110998721B (zh) * 2017-07-28 2024-04-26 弗劳恩霍夫应用研究促进协会 用于使用宽频带滤波器生成的填充信号对已编码的多声道信号进行编码或解码的装置
US11790922B2 (en) 2017-07-28 2023-10-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for encoding or decoding an encoded multichannel signal using a filling signal generated by a broad band filter
CN110998721A (zh) * 2017-07-28 2020-04-10 弗劳恩霍夫应用研究促进协会 用于使用宽频带滤波器生成的填充信号对已编码的多声道信号进行编码或解码的装置
CN109683845A (zh) * 2017-10-18 2019-04-26 宏达国际电子股份有限公司 声音播放装置、方法及非暂态存储媒体
CN110035376A (zh) * 2017-12-21 2019-07-19 高迪音频实验室公司 使用相位响应特征来双耳渲染的音频信号处理方法和装置
CN110035376B (zh) * 2017-12-21 2021-04-20 高迪音频实验室公司 使用相位响应特征来双耳渲染的音频信号处理方法和装置
US11863964B2 (en) 2018-08-20 2024-01-02 Huawei Technologies Co., Ltd. Audio processing method and apparatus
CN110856095A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
CN110856095B (zh) * 2018-08-20 2021-11-19 华为技术有限公司 音频处理方法和装置
US11910180B2 (en) 2018-08-20 2024-02-20 Huawei Technologies Co., Ltd. Audio processing method and apparatus
US11451921B2 (en) 2018-08-20 2022-09-20 Huawei Technologies Co., Ltd. Audio processing method and apparatus
US11611841B2 (en) 2018-08-20 2023-03-21 Huawei Technologies Co., Ltd. Audio processing method and apparatus
CN110856094A (zh) * 2018-08-20 2020-02-28 华为技术有限公司 音频处理方法和装置
CN110972033B (zh) * 2018-09-28 2023-08-22 硅实验室公司 修改音频数据的系统和方法
US11906642B2 (en) 2018-09-28 2024-02-20 Silicon Laboratories Inc. Systems and methods for modifying information of audio data based on one or more radio frequency (RF) signal reception and/or transmission characteristics
CN110972033A (zh) * 2018-09-28 2020-04-07 硅实验室公司 基于一个或多个射频(rf)信号接收和/或传输特性来修改音频数据信息的系统和方法
CN113645531B (zh) * 2021-08-05 2024-04-16 高敬源 一种耳机虚拟空间声回放方法、装置、存储介质及耳机
CN113645531A (zh) * 2021-08-05 2021-11-12 高敬源 一种耳机虚拟空间声回放方法、装置、存储介质及耳机

Also Published As

Publication number Publication date
CN104581610B (zh) 2018-04-27
EP3046339A1 (en) 2016-07-20
WO2015058503A1 (zh) 2015-04-30
EP3046339A4 (en) 2016-11-02
US20160241986A1 (en) 2016-08-18
US9763020B2 (en) 2017-09-12

Similar Documents

Publication Publication Date Title
CN104581610A (zh) 一种虚拟立体声合成方法及装置
CN102395098B (zh) 生成3d声音的方法和设备
CN105900457A (zh) 用于设计和应用数值优化的双耳房间脉冲响应的方法和系统
CN105874820B (zh) 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频
CN104010264B (zh) 双声道音频信号处理的方法和装置
CN105706468A (zh) 用于音频信号处理的方法和设备
CN105325013A (zh) 具有立体声房间脉冲响应的滤波
CN105874819A (zh) 生成用于音频信号的滤波器的方法及其参数化装置
CN107005778A (zh) 用于双耳渲染的音频信号处理设备和方法
CN108293165A (zh) 增强音场的装置和方法
CN101924317B (zh) 双声道处理装置及其方法与声音播放系统
Pulkki et al. Spatial effects
EP3329485B1 (en) System and method for spatial processing of soundfield signals
CN109417677A (zh) 用于预渲染的双耳音频的头部跟踪
CN117376784A (zh) 单声道立体声场扩展方法、电子设备及存储介质
US10659903B2 (en) Apparatus and method for weighting stereo audio signals
WO2022133128A1 (en) Binaural signal post-processing
CN109036456B (zh) 用于立体声的源分量环境分量提取方法
Wang et al. An “out of head” sound field enhancement system for headphone
KR100932791B1 (ko) 음상 외재화를 위한 머리전달함수 생성 방법과, 그를이용한 3차원 오디오 신호 처리 장치 및 그 방법
US11381927B2 (en) System and method for spatial processing of soundfield signals
Filipanits Design and implementation of an auralization system with a spectrum-based temporal processing optimization
KR20030002868A (ko) 삼차원 입체음향 구현방법 및 시스템
Usagawa et al. Binaural speech segregation system on single board computer
Iwanaga et al. Embedded implementation of acoustic field enhancement for stereo sound sources

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant