发明内容
本发明是为了解决这种问题而提出的,其目的在于提供一种音像定位装置,不用对所有方向测定头部冲击响应,能够以很小的存储容量来实现,能够进行正确的音像定位。
本发明提供一种音像定位装置,包括:音像方向设置部,设置表示产生音像的方向的音像方向;角度变换部,将上述音像方向变换为侧向角和上升角;侧向角控制信息存储部,存储用于沿与上述侧向角对应的方向来产生音像的侧向角控制信息;正面方向头部冲击响应存储部,存储正面方向的头部冲击响应;上升角之差信息存储部,存储用于沿与上述上升角对应的方向来产生音像的上升角之差信息;以及头部传递函数处理部,具有对声源信号卷积上述侧向角控制信息、上述正面方向的头部冲击响应及上述上升角之差信息的卷积运算部,对声源信号的音像进行定位。通过该结构,产生音像的方向被变换为侧向角和上升角,根据该侧向角和上升角来产生音像。
这里,最好上述侧向角控制信息存储部存储两耳间时间差信息及两耳间声平差信息中的至少1个信息作为上述侧向角控制信息作为上述上升角之差信息。通过该结构,根据与侧向角对应的两耳间时间差信息、两耳间声平差信息来控制声源信号。
此外,最好上述上升角之差信息存储部存储着正中面上的正面方向和各上升角之间的头部冲击响应之差信息。通过该结构,根据与上升角对应的与正面方向的头部冲击响应之差信息来控制声源信号。
此外,最好包括:外耳道传递函数校正处理部,对上述卷积运算部输出的信号卷积运算对因头戴式耳机或耳塞机佩戴到外耳上而变化的外耳道传递函数进行校正的外耳道传递函数校正数据。通过该结构,外耳道传递函数被校正得对应于佩戴头戴式耳机或耳塞机时。
本发明提供一种音像定位装置,包括:头部传递函数处理部,用标准头部传递函数对声源信号的音像进行定位;以及外耳道传递函数校正处理部,根据校正因头戴式耳机或耳塞机佩戴到外耳上而变化的标准外耳道传递函数的校正信息来进行输出到上述头戴式耳机或耳塞机的信号的音像定位。
通过该结构,根据标准头部传递函数及标准外耳道传递函数来产生输出到头戴式耳机或耳塞机的信号的音像。
这里,采用下述结构,包括:头部传递函数修正处理部,将上述头部传递函数处理部处理过的信号的头部传递函数修正为目标头部传递函数。
通过该结构,头部传递函数处理部处理过的信号被修正为适合目标用户的头部传递函数。
此外,采用下述结构,包括:外耳道传递函数校正修正处理部,将上述外耳道传递函数校正处理部处理过的信号的外耳道传递函数修正为目标外耳道传递函数。
通过该结构,外耳道传递函数校正处理部处理过的信号被修正为适合目标用户的外耳道传递函数。
本发明提供一种会议装置,包括:音像定位处理部,具有用头部传递函数对声源信号的音像进行定位的头部传递函数处理部,进行音频信号的音像定位;以及校正部,具有根据因头戴式耳机或耳塞机佩戴到外耳上而变化的外耳道传递函数校正信息来进行输出到上述头戴式耳机或耳塞机的信号的音像定位的外耳道传递函数校正处理部,进行外耳道传递函数的校正;用上述音像定位处理部对要发送的音频信号进行处理,并且用上述校正部对接收到的音频信号进行处理。
通过该结构,对要发送的音频信号进行音像定位处理,对接收到的音频信号进行外耳道传递函数校正处理,能够进行与佩戴的头戴式耳机或耳塞机相应的控制,能够进行正确的音像定位。
本发明提供一种会议装置,包括:音像定位处理部,具有用标准头部传递函数对声源信号的音像进行定位的头部传递函数处理部和根据因头戴式耳机或耳塞机佩戴到外耳上而变化的标准外耳道传递函数校正信息来进行输出到上述头戴式耳机或耳塞机的信号的音像定位的外耳道传递函数校正处理部,进行音频信号的音像定位;以及校正部,具有修正上述头部传递函数校正处理部处理过的标准头部传递函数和目标头部传递函数之差的头部传递函数修正处理部、或修正上述外耳道传递函数校正处理部处理过的标准外耳道传递函数校正信息和目标外耳道传递函数校正信息之差的外耳道传递函数校正修正处理部中的至少1个修正处理部,修正标准特性和目标特性之差;用上述音像定位处理部对要发送的音频信号进行处理,并且用上述校正部对接收到的音频信号进行处理。
通过该结构,对要发送的音频信号进行标准音像定位处理,对接收到的音频信号进行与收听者或佩戴的头戴式耳机或耳塞机相应的修正,能够实现正确的音像定位。
本发明提供一种携带电话装置,包括:音像定位处理部,具有用头部传递函数对声源信号的音像进行定位的头部传递函数处理部,进行音频信号的音像定位;以及校正部,具有根据将头戴式耳机或耳塞机佩戴到外耳上而变化的外耳道传递函数校正信息来进行输出到上述头戴式耳机或耳塞机的信号的音像定位的外耳道传递函数校正处理部,进行外耳道传递函数的校正;用上述音像定位处理部对要发送的音频信号进行处理,并且用上述校正部对接收到的音频信号进行处理。
通过该结构,对要发送的音频信号进行音像定位处理,对接收到的音频信号进行外耳道传递函数校正处理,能够进行与佩戴的头戴式耳机或耳塞机相应的控制,能够进行正确的音像定位。
本发明提供一种携带电话装置,包括:音像定位处理部,具有用标准头部传递函数对声源信号的音像进行定位的头部传递函数处理部和根据因头戴式耳机或耳塞机佩戴到外耳上而变化的标准外耳道传递函数校正信息来进行输出到上述头戴式耳机或耳塞机的信号的音像定位的外耳道传递函数校正处理部,进行音频信号的音像定位;以及校正部,具有修正上述头部传递函数校正处理部处理过的标准头部传递函数和目标头部传递函数之差的头部传递函数修正处理部、或修正上述外耳道传递函数校正处理部处理过的标准外耳道传递函数校正信息和目标外耳道传递函数校正信息之差的外耳道传递函数校正修正处理部中的至少1个修正处理部,修正标准特性和目标特性之差;用上述音像定位处理部对要发送的音频信号进行处理,用上述校正部对接收到的音频信号进行处理。
通过该结构,对要发送的音频信号进行标准音像定位处理,对接收到的音频信号进行与收听者或佩戴的头戴式耳机或耳塞机相应的修正,能够实现正确的音像定位。
本发明提供一种音频播放器,包括:音像定位处理部,具有用头部传递函数对声源信号的音像进行定位的头部传递函数处理部,进行音频信号的音像定位;校正部,具有根据因头戴式耳机或耳塞机佩戴到外耳上而变化的外耳道传递函数校正信息来进行输出到上述头戴式耳机或耳塞机的信号的音像定位的外耳道传递函数校正处理部,进行外耳道传递函数的校正;以及信号检测部,至少检测记录媒体上记录的音频信号及记录信息信号;上述校正部始终进行处理,上述音像定位处理部根据上述信号检测部检测出的上述记录信息信号来决定是否进行从上述记录媒体上读出的上述音频信号的音像定位。
通过该结构,在上述记录媒体上记录的音频信号是施加过音像定位处理的信号时,不用音像定位处理部进行音像定位处理;而在记录媒体上记录的音频信号是未施加音像定位处理的信号时,用音像定位处理部进行音像定位处理;此外,用校正部进行与佩戴的头戴式耳机或耳塞机相应的处理,能够正确地收听进行过音像定位的音频信号。
本发明提供一种音频播放器,包括:音像定位处理部,具有用标准头部传递函数对声源信号的音像进行定位的头部传递函数处理部和根据因头戴式耳机或耳塞机佩戴到外耳上而变化的标准外耳道传递函数校正信息来进行输出到上述头戴式耳机或耳塞机的信号的音像定位的外耳道传递函数校正处理部,进行音频信号的音像定位;校正部,具有修正上述头部传递函数校正处理部处理过的标准头部传递函数和目标头部传递函数之差的头部传递函数修正处理部、或修正上述外耳道传递函数校正处理部处理过的标准外耳道传递函数校正信息和目标外耳道传递函数校正信息之差的外耳道传递函数校正修正处理部中的至少1个修正处理部,修正标准特性和目标特性之差;以及信号检测部,至少检测记录媒体上记录的音频信号及记录信息信号;上述校正部始终进行处理,上述音像定位处理部根据上述信号检测部检测出的上述记录信息信号来决定是否进行从上述记录媒体上读出的上述音频信号的音像定位。
通过该结构,在上述记录媒体上记录的音频信号是施加过音像定位处理的信号时,不用音像定位处理部进行音像定位处理;而在记录媒体上记录的音频信号是未施加音像定位处理的信号时,用音像定位处理部进行标准音像定位处理;此外,用校正部进行与收听者或佩戴的头戴式耳机或耳塞机相应的修正,能够正确地收听进行过音像定位的音频信号。
本发明提供一种音频记录器,包括:音像定位处理部,具有用头部传递函数对声源信号的音像进行定位的头部传递函数处理部,进行音频信号的音像定位;以及记录部,将音频信号记录到记录媒体上;上述音像定位处理部对输入的音频信号进行音像定位处理,上述记录部将施加过上述音像定位处理的音频信号记录到上述记录媒体上。
通过该结构,在保持音像定位效果的状态下将音频信号记录到记录媒体上,在重放音频信号时不施加附加处理也能够重放施加了正确的音像定位的信号。
本发明提供一种音频记录器,包括:音像定位处理部,具有用标准头部传递函数对声源信号的音像进行定位的头部传递函数处理部和根据因头戴式耳机或耳塞机佩戴到外耳上而变化的标准外耳道传递函数校正信息来进行输出到上述头戴式耳机或耳塞机的信号的音像定位的外耳道传递函数校正处理部,进行音频信号的音像定位;以及记录部,将音频信号记录到记录媒体上;上述音像定位处理部对输入的音频信号进行音像定位处理,上述记录部将施加过上述音像定位处理的音频信号记录到上述记录媒体上。
通过该结构,在保持音像定位效果的状态下将音频信号记录到记录媒体上,在重放音频信号时不施加附加处理也能够重放施加了正确的音像定位的信号。
本发明提供一种分发装置,包括:音像定位处理部,具有用头部传递函数对声源信号的音像进行定位的头部传递函数处理部,进行音频信号的音像定位;用上述音像定位处理部进行音频信号的音像定位,根据规定的信号形式将进行过上述音像定位处理的音频信号与作为上述音像定位处理部的处理信息的定位控制信息一起发送。
通过该结构,进行过音像定位的信号根据规定的信号形式来发送,在接收发送的信号来听的情况下不施加附加处理也能够进行正确的音像定位。
本发明提供一种分发装置,包括:音像定位处理部,具有用标准头部传递函数对声源信号的音像进行定位的头部传递函数处理部和根据因头戴式耳机或耳塞机佩戴到外耳上而变化的标准外耳道传递函数校正信息来进行输出到上述头戴式耳机或耳塞机的信号的音像定位的外耳道传递函数校正处理部,进行音频信号的音像定位;用上述音像定位处理部进行音频信号的音像定位,根据规定的信号形式将进行过上述音像定位处理的音频信号与作为上述音像定位处理部的处理信息的定位控制信息一起发送。
通过该结构,进行过音像定位的信号根据规定的信号形式来发送,在接收发送的信号来听的情况下不施加附加处理也能够进行正确的音像定位。
本发明提供一种接收装置,包括:接收部,接收音频信号及上述音频信号的定位信息;以及校正部,具有根据因头戴式耳机或耳塞机佩戴到外耳上而变化的外耳道传递函数校正信息来进行输出到上述头戴式耳机或耳塞机的信号的音像定位的外耳道传递函数校正处理部,进行外耳道传递函数的校正;上述校正部根据上述定位信息来进行外耳道传递函数的校正。
通过该结构,根据接收到的定位信息、和佩戴的头戴式耳机或耳塞机的信息,用上述校正部进行校正处理,能够收听正确地进行过音像定位的音频信号。
本发明提供一种接收装置,包括:接收部,接收音频信号及上述音频信号的定位信息;以及校正部,具有修正上述音频信号的头部传递函数和目标头部传递函数之差的头部传递函数修正处理部、或修正上述音频信号的外耳道传递函数校正信息和目标外耳道传递函数校正信息之差的外耳道传递函数校正修正处理部中的至少1个修正处理部,修正标准特性和目标特性之差;上述校正部根据上述定位信息来修正标准特性和目标特性之差。
通过该结构,根据接收到的定位信息、和收听者或佩戴的头戴式耳机或耳塞机的信息,用上述校正部进行校正处理,能够收听正确地进行过音像定位的音频信号。
本发明提供一种游戏机,包括:音像定位处理部,具有用头部传递函数对声源信号的音像进行定位的头部传递函数处理部,进行音频信号的音像定位;校正部,具有根据因头戴式耳机或耳塞机佩戴到外耳上而变化的外耳道传递函数校正信息来进行输出到上述头戴式耳机或耳塞机的信号的音像定位的外耳道传递函数校正处理部,进行外耳道传递函数的校正;信号检测部,至少检测记录媒体上记录的音频信号及定位信息信号;以及控制器;上述校正部始终进行处理,上述音像定位处理部根据上述信号检测部检测出的上述定位信息信号及上述控制器的操作来进行从上述记录媒体上读出的上述音频信号的音像定位。
通过该结构,根据记录着游戏软件等的记录媒体上的定位信息及用户操作了控制器的信息来控制音像定位,按照佩戴的头戴式耳机或耳塞机来进行校正处理,能够不限制收听位置来享受虚拟声音空间。
本发明提供一种游戏机,包括:音像定位处理部,具有用标准头部传递函数对声源信号的音像进行定位的头部传递函数处理部和根据因头戴式耳机或耳塞机佩戴到外耳上而变化的标准外耳道传递函数校正信息来进行输出到上述头戴式耳机或耳塞机的信号的音像定位的外耳道传递函数校正处理部,进行音频信号的音像定位;校正部,具有修正上述头部传递函数校正处理部处理过的标准头部传递函数和目标头部传递函数之差的头部传递函数修正处理部、或修正上述外耳道传递函数校正处理部处理过的标准外耳道传递函数校正信息和目标外耳道传递函数校正信息之差的外耳道传递函数校正修正处理部中的至少1个修正处理部,修正标准特性和目标特性之差;信号检测部,至少检测记录媒体上记录的音频信号及定位信息信号;以及控制器;上述校正部始终进行处理,上述音像定位处理部根据上述信号检测部检测出的上述定位信息信号及上述控制器的操作来进行从上述记录媒体上读出的上述音频信号的音像定位。
通过该结构,根据记录着游戏软件等的记录媒体上的定位信息及用户操作了控制器的信息来控制音像定位,按照收听者或佩戴的头戴式耳机或耳塞机来进行校正处理,能够不限制收听位置来享受虚拟声音空间。
本发明提供一种音频信号重放装置,包括:校正部,具有根据因头戴式耳机或耳塞机佩戴到外耳上而变化的外耳道传递函数校正信息来进行输出到上述头戴式耳机或耳塞机的音频信号的音像定位的外耳道传递函数校正处理部,进行外耳道传递函数的校正;以及重放部,重放音频信号;上述校正部进行考虑了上述重放部的特性的校正处理,上述校正部和上述重放部是一体型的。
通过该结构,进行考虑了重放部固有的特性的校正处理,能够进行正确的音像定位。
本发明提供一种音频信号重放装置,包括:校正部,具有修正输入的音频信号的头部传递函数和目标头部传递函数之差的头部传递函数修正处理部、或修正上述音频信号的外耳道传递函数校正信息和目标外耳道传递函数校正信息之差的外耳道传递函数校正修正处理部中的至少1个修正处理部,修正标准特性和目标特性之差;以及重放部,重放音频信号;上述校正部进行考虑了上述重放部的特性的校正处理,上述校正部和上述重放部是一体型的。
通过该结构,进行考虑了收听者或重放部固有的特性的校正处理,能够进行正确的音像定位。
具体实施方式
以下,参照附图来说明本发明的实施方式。
图1~图7是本发明第1实施方式的音像定位装置的图。
如图1所示,本实施方式的音像定位装置100包括:头部传递函数处理部110,进行头部传递函数的处理;以及外耳道传递函数校正处理部120,进行外耳道传递函数的校正。
头部传递函数处理部110包括:音像方向设置部111,设置想将音像定位到的方向;角度变换部112,将音像方向变换为侧向角α和上升角β;侧向角控制信息存储部113,存储控制音像的侧向角的信息;上升角之差信息存储部114,存储音像的上升角之差信息;正面方向头部冲击响应存储部115,存储正面方向的头部冲击响应;以及卷积运算部116,对声源信号卷积侧向角控制信息、正面方向头部冲击响应以及上升角之差信息。
外耳道传递函数校正处理部120包括:外耳道传递函数校正数据存储部121,存储外耳道传递函数校正数据;以及卷积运算部122,对声源信号卷积外耳道传递函数校正信息。卷积运算部122的输出被输出到包含耳塞型或内耳式耳塞机型的头戴式耳机。
侧向角控制信息存储部113存储着两耳间时间差、两耳间声平差、或两耳间时间差和两耳间声平差两者。
图2是将两耳间时间差用作侧向角控制信息的例子。在图2中,示出了成人的与侧向角对应的两耳间时间差的标准值,但是在指定了收听者的情况下,也可以测定收听者个人的两耳间时间差,给出其测定值。
图3是将两耳间声平差用作侧向角控制信息的例子。在图3中,示出了成人的与侧向角对应的两耳间声平差的标准值,但是在指定了收听者的情况下,也可以测定收听者个人的两耳间声平差,给出其测定值。
图4是将两耳间时间差和两耳间声平差两者用作侧向角控制信息的例子。在图4中,示出了成人的与侧向角对应的两耳间时间差和两耳间声平差的标准值,但是在指定了收听者的情况下,也可以测定收听者个人的两耳间时间差和两耳间声平差,给出它们的测定值。
上升角之差信息存储部114存储着正中面上的正面方向的头部冲击响应和各上升角的头部冲击响应之差。上升角之差信息的收听者个人差异小,所以使用成人的标准值即可。图5是上升角之差信息的例子。
正面方向头部冲击响应存储部115存储着在收听者的正面方向上预先测定的正面方向的头部冲击响应。图6是正面方向的头部冲击响应信息的例子。
图7示出正面方向头部冲击响应及上升角之差信息的测定例,图7(a)示出正面方向头部传递函数的一例,图7(b)示出上升角之差信息的一例。
在这种音像定位装置100中,头部传递函数处理部110的音像方向设置部111由收听者设置想将音像定位到的三维方向。设置三维方向时的坐标系可以是任意的。角度变换部112将三维方向变换为与人感知音像方向的线索很好对应的侧向角α和上升角β。例如,在用通常设置三维方向时使用的极坐标(方位角φ和仰角θ)设置了方向的情况下,用式(1)来变换为侧向角α和上升角β。
α=arccos(sinφcosθ)
β=arcsin(sinθ/(sin2θ+cos2φcos2θ)1/2) (1)
从侧向角控制信息存储部113中调用与侧向角α对应的侧向角控制信息、即与α对应的两耳间时间差、两耳间声平差、或两耳间时间差和两耳间声平差两者,保存到卷积运算部116中。此外,从正面方向头部冲击响应存储部115中调用收听者的正面方向的头部冲击响应,保存到卷积运算部116中。
进而,从上升角之差信息存储部114中调用与上升角β对应的上升角之差信息、即正中面上的正面方向的头部冲击响应和与β对应的上升角的头部冲击响应之差,保存到卷积运算部116中。
卷积运算部116进行声源信号和侧向角控制信息、正面方向头部冲击响应、及上升角之差信息之间的卷积运算并输出。
外耳道传递函数校正处理部120的卷积运算部122进行头部传递函数处理部110的输出信号和外耳道传递函数校正数据存储部121中存储着的外耳道传递函数校正数据之间的卷积运算,形成右耳信号及左耳信号并输出。
接着,已耳机的情况为例来说明外耳道传递函数校正数据存储部121中存储着的外耳道传递函数校正数据的计算原理。这里,为了方便,不是以时域、而是以频域来进行说明。
空间r中辐射的声源信号s在收听者的鼓膜(Ear Drum)上的声压P1为
P1=S×R×HRTF(ED)=S×R×HRTF(EEC)×H(EC) (2)其中,S:声源信号,R:房间的传递函数,HRTF(ED):在鼓膜位置上观测到的头部传递函数,HRTF(EEC):在外耳道入口处观测到的头部传递函数,H(EC):外耳道传递函数。
空间r中辐射的声源信号s在收听者的外耳道入口(Entrance of Ear Canal)处的声压P2为
P2=S×R×HRTF(EEC) (3)此外,用立体声耳机来重放该声压P2的情况下收听者的鼓膜上的声压P3为
P3=P2×SIP×H(EC_SIP) (4)其中,SIP:立体声耳机的特性,H(EC_SIP):佩戴了立体声耳机的状态下的外耳道传递函数。
在用立体声耳机来重放声压P2时,考虑使收听者的鼓膜上的声压即声压P3等于声压P1的校正值(校正滤波器)Hc,则由式(2)-式(4),得
S×R×HRTF(EEC)×H(EC)=S×R×HRTF(EEC)×SIP×H(EC_SIP)×Hc (5)因此,
Hc=H(EC)/{SIP×H(EC_SIP)} (6)
其结果是,如果实施校正值Hc的信号处理来从立体声耳机重放声压P2,则能够再现空间r中辐射的声源信号s在收听者的鼓膜上的声压P1。
在如上所述的校正值Hc的计算中,测定外耳道传递函数H(EC)和佩戴了立体声耳机的状态下的外耳道传递函数H(EC_SIP)很困难。因此,以下说明使用仿真头的测定方法。
其中,进行该测定的仿真头最好忠实地模拟了外耳道传递函数,并且耳廓的形状与人耳类似,所以最好使用美国Knowles公司的KEMAR(M.D.Burkhard and R.M.Sachs,“Anthropometric manikin for acoustic research”,J.Acoust.Soc.Am.,Vol.58,No.1,July 1975)。
H(EC)可以用式(7)根据HRTF(ED)和HRTF(EEC)来求。
H(EC)=HRTF(ED)/HRTF(EEC) (7)
HRTF(ED)用设置在鼓膜位置上的仿真头的话筒来测定,HRTF(EEC)是在仿真头的外耳道入口处设置话筒来测定。此外,H(EC_SIP)是通过向仿真头的外耳道入口处插入立体声耳机,从那里辐射测定用信号,用设置在鼓膜位置上的话筒接收来求。
这样,能够容易地求由于佩戴了耳机而造成的鼓膜位置上的外耳道冲击响应的变化量,通过如上所述校正该变化量,能够进行正确的音像定位。
其中,设受话器为立体声耳机进行了说明,但是当然用立体声头戴式耳机也能够同样算出校正值。
如上所述,本实施方式的音像定位装置通过将个人差异大的头部冲击响应分解为依赖于收听者的正面方向的头部冲击响应、和对收听者的依赖度小的与各上升角对应的差信息,能够简便地实现头部冲击响应的个人差异造成的定位精度恶化少的音像定位。
此外,假设将三维空间沿水平方向分解为m方向,沿垂直方向分解为n方向,将音像定位到m×n个组合中的某一个方向,则在现有的音像定位装置中,需要m×n个组合的所有方向的头部冲击响应;而在本发明的音像定位装置中,只需m个侧向角控制信息、即两耳间时间差信息和两耳间声平差信息中的某一个或两者、正面方向的头部冲击响应、以及正面方向和正中面内的n方向的头部冲击响应之差就足够了,不对所有方向测定头部冲击响应,就能够用小的存储容量来对音像进行定位。
此外,校正了佩戴了耳机或头戴式耳机时的外耳道传递函数的变化,所以即使在佩戴了耳机或头戴式耳机的情况下也能够正确地进行音像定位。
图8是本发明第2实施方式的音像定位装置的图。其中,本实施方式与上述第1实施方式大致相同来构成,所以对同样的结构附以同一标号并只说明特征部分。
如图8所示,本实施方式的音像定位装置200包括:头部传递函数处理部210,进行音像方向的控制;外耳道传递函数校正处理部120,进行佩戴了头戴式耳机或耳塞机的状态下的外耳道传递函数的校正;头部传递函数修正处理部220,修正头部传递函数处理部210处理过的标准头部传递函数和目标头部传递函数之间的差分;以及外耳道传递函数校正修正处理部230,修正外耳道传递函数校正处理部120处理过的标准外耳道传递函数校正信息和目标外耳道传递函数校正信息之间的差分。
头部传递函数处理部210具有存储标准头部传递函数数据的头部传递函数数据存储部211和卷积运算部212,从头部传递函数数据存储部211中读出适当的数据,用卷积运算部212对声源信号卷积标准头部传递函数。
头部传递函数修正处理部220具有存储标准头部传递函数和目标头部传递函数之间的差分数据的头部传递函数修正数据存储部221、和卷积运算部222,从头部传递函数修正数据存储部221中读出适当的数据,用卷积运算部222对声源信号卷积头部传递函数修正数据。将收听者个人的头部传递函数等设置为目标头部传递函数。
外耳道传递函数校正修正处理部230具有存储标准外耳道传递函数校正信息和目标外耳道传递函数校正信息之间的差分数据的外耳道传递函数校正修正数据存储部231、和卷积运算部232,从外耳道传递函数校正修正数据存储部231中读出适当的数据,用卷积运算部232对声源信号卷积外耳道传递函数校正修正信息。将包含使用的头戴式耳机或耳塞机的信息的外耳道传递函数校正信息等设置为目标外耳道传递函数校正信息。
对声源信号如上所述卷积各个数据,作为右耳信号和左耳信号来输出。在图8中,在上述各处理部中分别设有卷积运算部,但是也可以将各个卷积运算部集中为一个卷积运算部。
接着,用图9来说明外耳道传递函数校正修正处理部230所用的数据设置方法。
图9(a)是外耳道传递函数校正处理部120所用的标准外耳道传递函数校正特性的振幅频率特性Hc1的例子。
该标准外耳道传递函数校正特性Hc1例如使用用预定的标准头戴式耳机或耳塞机测定出的特性根据上述式(6)算出的Hc。
图9(b)是实际重放音频信号时所用的头戴式耳机或耳塞机的外耳道传递函数校正特性的振幅频率特性Hc2的例子。
该特性使用用实际重放时所用的头戴式耳机或耳塞机测定出的特性根据上述式(6)算出的Hc。
比较图9(a)和(b)可知,振幅频率特性的形状很相似,但是峰和谷的频率和量稍有不同。
图9(c)是图9(a)的标准外耳道传递函数校正特性Hc1、和图9(b)的实际重放时所用的头戴式耳机或耳塞机的外耳道传递函数校正特性Hc2之间的差分Hc3,根据式(8)来计算。
Hc3=Hc2/Hc1 (8)
外耳道传递函数校正修正处理部230处理的数据使用图9(c)所示的标准外耳道传递函数校正特性Hc1和实际重放时的外耳道传递函数校正特性Hc2之间的差分的特性。
将标准外耳道传递函数校正特性Hc1乘以修正数据Hc3,根据式(8)如式(9)所示。
Hc1×Hc3=Hc2 (9)
这样,处理所用的外耳道传递函数校正特性等于实际重放时的外耳道传递函数校正特性。
头部传递函数修正处理部220所用的数据也与上述外耳道传递函数校正修正数据设置例同样,例如设置标准头部传递函数和收听者个人的头部传递函数之间的差分。
如上所述,本实施方式的音像定位装置对声源信号卷积标准头部传递函数、标准外耳道传递函数校正信息、标准头部传递函数和目标头部传递函数之间的差分数据、及标准外耳道传递函数校正信息和目标外耳道传递函数校正信息之间的差分数据,所以能够实现头部传递函数的个人差异造成的定位精度恶化、或头戴式耳机或耳塞机的差异造成的定位精度恶化少的音像定位。如果在收听者变化时变更头部传递函数修正数据,而在头戴式耳机或耳塞机变化时变更外耳道传递函数校正修正数据,则能够实现定位精度恶化少的音像定位。
接着,图10是本发明第3实施方式的会议装置的图。其中,本实施方式是使用上述第1实施方式的头部传递函数处理部110及外耳道传递函数校正处理部120的会议装置。
如图10所示,本实施方式的会议装置300包括:接收部310,接收包含视频和音频信号等的接收信号;视频显示部320,显示接收到的视频信号;校正部330,包括对接收到的音频信号进行与收听状态相应的校正的上述第1实施方式的外耳道传递函数校正处理部120;控制部340,进行视频和音频信号的控制;音像定位处理部350,包括对要发送的音频信号进行音像定位处理的上述第1实施方式的头部传递函数处理部110;以及发送部360,发送音频信号和视频信号。在校正部330上连接有重放音频信号的立体声头戴式耳机2010,在音像定位处理部350上连接有收集话音等的话筒2020,在发送部360上连接有拍摄视频的摄像机2030。
此外,接收部310及发送部360被连接在传输线路上,经传输线路与其他会议装置进行信号的发送接收。
在这种会议装置300中,来自相对的其他会议装置的视频信号和音频信号等作为接收信号被输入到接收部310,接收部310将接收到的信号分解为视频信号和音频信号,视频信号被输出到视频显示部320,音频信号被输出到校正部330。
控制部340使校正部330对接收到的音频信号进行与使用的立体声头戴式耳机2010的特性相应的外耳道传递函数的校正,输出到立体声头戴式耳机2010。
话者(会议装置300的用户)佩戴立体声头戴式耳机2010进行会议,话者的话音由话筒2020进行收集,输入到音像定位处理部350。
控制部340使音像定位处理部350对收集到的音频信号进行音像定位处理,输入到发送部360。此外,话者的视频由摄像机2030拍摄,输入到发送部360。
发送部360将摄像机2030拍摄到的视频信号和音像定位处理部350进行过音像定位处理的音频信号发送到相对的其他会议装置。
如上所述,根据本实施方式,对要发送的音频信号进行使用头部传递函数的音像定位处理,对接收到的音频信号进行与使用的立体声头戴式耳机相应的校正处理,所以即使发送端不知道接收端的状态,接收端也能够进行与最佳的接收状态相应的处理,能够进行正确的音像定位。
此外,在用多个扬声器来重放音频信号的情况下,如果不在扬声器的中央位置附近收听则不能实现正确的音像方向,而在用立体声头戴式耳机2010进行重放的情况下,收听位置不受限制,在任何位置上都能进行正确的音像定位。
此外,在用扬声器进行重放的情况下,由于从扬声器输出的信号输入到收集用话筒而发生回音,而如果使用立体声头戴式耳机2010则不发生回音,能够进行愉快的会议。
作为本实施方式的另一方面,如图11所示,采用下述结构,包括:包括上述第2实施方式的头部传递函数修正处理部220及外耳道传递函数校正修正处理部230的校正部410和包括上述第2实施方式的头部传递函数处理部210及外耳道传递函数校正处理部120的音像定位处理部420。
要发送的音频信号由头部传递函数处理部210卷积标准头部传递函数,由外耳道传递函数校正处理部120卷积标准外耳道传递函数校正信息。此外,接收到的音频信号由头部传递函数修正处理部220进行标准头部传递函数和目标头部传递函数之间的差分的修正,由外耳道传递函数校正修正处理部230进行标准外耳道传递函数校正信息和目标外耳道传递函数校正信息之间的差分的修正。
通过这样构成,对要发送的音频信号进行使用标准头部传递函数和标准外耳道校正信息的音像定位处理,对接收到的音频信号进行与收听者或使用的立体声头戴式耳机相应的校正处理,所以即使发送端不知道接收端的状态,接收端也能够进行与最佳的接收状态相应的处理,能够进行正确的音像定位。
接着,图12是本发明第4实施方式的携带电话的图。其中,本实施方式是使用与上述第3实施方式同样的校正部330及音像定位处理部350的携带电话。
如图12所示,本实施方式的携带电话500包括:接收部510,接收包含音频信号等的接收信号;校正部330,对接收到的音频信号进行与收听状态相应的校正;话筒520,收录话音等;音像定位处理部350,对话筒520收录到的音频信号进行音像定位处理;控制部530,进行校正部330和音像定位处理部350的控制;以及发送部540,发送音频信号。在校正部330上连接有重放音频信号的立体声头戴式耳机2010。
在这种携带电话500中,输入到接收部510中的音频信号由校正部330与上述第3实施方式同样按照携带电话500的用户、或使用的立体声头戴式耳机2010的特性进行校正,输出到立体声头戴式耳机2010。
携带电话500的用户佩戴立体声头戴式耳机2010进行通话,用户的话音由话筒520进行收集,与上述第3实施方式同样,由音像定位处理部350进行音像定位处理,输入到发送部540。
控制部530控制音像定位处理部350和校正部330,以便使音像定位处理部350中的音像定位处理为最佳的处理,并且使校正部330中的校正处理为最佳的处理。
如上所述,根据本实施方式,对要发送的音频信号进行使用头部传递函数的音像定位处理,对接收到的音频信号进行与使用的立体声头戴式耳机相应的校正处理,所以即使发送端不知道接收端的状态,接收端也能够进行与最佳的接收状态相应的处理,能够进行正确的音像定位。
其中,作为本实施方式的校正部及音像定位处理部,也可以使用上述第3实施方式的另一方面的校正部410及音像定位处理部420。
接着,图13是本发明第5实施方式的音频播放器的图。其中,本实施方式是使用与上述第3实施方式同样的校正部330及音像定位处理部350的音频播放器。
如图13所示,本实施方式的音频播放器600包括:音像定位处理部350,控制音频信号的音像定位方向;校正部330,进行与音频播放器600的收听者相应的、或者与使用的立体声头戴式耳机2010相应的音像定位的校正处理;信号检测部620,从CD或DVD等记录媒体610上检测信号;以及控制部630,根据记录媒体610上记录的音频信号的声道数和音像定位信息等信号记录信息来控制音像定位处理部350和校正部330。
在信号检测部620上连接有显示视频信号的视频显示部2040,在校正部330上连接有重放音频信号的立体声头戴式耳机2010。
在这种音频播放器600中,信号检测部620从CD或DVD等只记录着音频信号、或者记录着音频信号和视频信号两者的记录媒体610上,检测多个声道的音频信号等、和视频信号、及记录媒体上记录的音频信号的声道数和音像定位处理信息等记录信息。
信号检测部620检测出的视频信号由视频显示部2040进行显示。此外,信号检测部620检测出的音频信号被输出到音像定位处理部350。另一方面,信号检测部620检测出的记录信息被输出到控制部630。
控制部630根据记录信息来决定对记录的音频信号最佳的音像重放方向,变更音像定位处理部350的设置。例如,在对记录的音频信号进行了音像定位处理的情况下,设置得使音像定位处理部350不进行音像定位处理;而在对记录的音频信号未进行音像定位处理的情况下,设置得使音像定位处理部350进行与声道数等相应的最佳的音像定位处理。
音像定位处理部350施加了音像定位处理的音频信号由校正部330进行与收听者相应的校正处理、或者与使用的立体声头戴式耳机2010相应的校正处理,输出到立体声头戴式耳机2010。
如上所述,根据本实施方式,按照记录媒体上记录的音像定位处理信息和声道数来控制音像方向,以便能够进行最佳的收听,所以能够进行与记录媒体上记录的音频信号相应的控制,并且无需变更扬声器的设置等工作。
此外,在用扬声器进行重放的情况下,如果不在扬声器的中央位置上进行收听则不能进行正确的音像定位,但是由于用立体声头戴式耳机进行重放,所以具有下述效果:能够进行正确的音像定位,而不依赖于收听位置。此外,在携带小型的音频播放器来听音乐等的情况下,也能够进行有临场感的重放。
此外,能够进行与收听者和进行重放的立体声头戴式耳机相应的最佳的音像定位控制。
其中,作为本实施方式的校正部及音像定位处理部,也可以使用上述第3实施方式的另一方面的校正部410及音像定位处理部420。
接着,图14是本发明第6实施方式的音频记录器的图。其中,本实施方式是使用与上述第3实施方式同样的音像定位处理部350的音频记录器。
如图14所示,本实施方式的音频记录器700包括:音像定位处理部350,控制音频信号的音像定位方向;记录部710,记录双声道的音频信号;CD、DVD或硬盘等记录媒体720;以及控制部730,设置音像定位处理部350的音像定位方向。
在这种音频记录器700中,向音像定位处理部350输入音频信号后,音像定位处理部350根据控制部730设置的各声道的音像定位方向来控制输入的音频信号的音像定位方向。
控制部730例如对多声道的信号设置音像方向,以便好像在最适合听该信号的、扬声器配置的中央听声音时一样。
音像定位处理部350控制过音像定位方向的双声道的信号由记录部710记录到记录媒体720上。
如上所述,根据本实施方式,在记录到记录媒体720上之前用音像定位处理部350来控制音像方向,以便能够进行最佳的收听,所以在用音频播放器来听该音频记录器700记录的音频信号的情况下,即使在音频播放器端不进行音像定位处理等附近处理,也能够进行最佳的收听。
此外,在要处理的信号的声道数为3个声道以上的情况下,用音像定位处理部350变换为双声道的信号,以便能够用立体声头戴式耳机来听,所以记录媒体的记录容量很少即可。
其中,作为本实施方式的音像定位处理部,也可以使用上述第3实施方式的另一方面的音像定位处理部420。
接着,图15是本发明第7实施方式的分发装置的图。其中,本实施方式是使用与上述第3实施方式同样的音像定位处理部350的分发装置。
如图15所示,本实施方式的分发装置800包括:音像定位处理部350,控制音频信号的音像定位方向;控制部810,设置音像定位处理部350的音像定位方向;视频编码器820,形成压缩了视频信号的数据量的信号;音频编码器830,形成压缩了音频信号的数据量的信号;以及发送部840,发送视频和音频的数据。
在这种分发装置800中,向音像定位处理部350输入音频信号后,音像定位处理部350根据控制部810设置的各声道的音像定位方向来控制输入的音频信号的音像定位方向。
控制部810例如对多声道的信号设置音像方向,以便好像在最适合听该信号的、扬声器配置的中央听声音时一样。
音像定位处理部350控制过音像定位方向的双声道的信号由音频编码器830来压缩数据量,输入到发送部840。
另一方面,视频信号由视频编码器820来压缩数据量,输入到发送部840。
此外,控制部810将音像定位处理部350中设置的处理的信息输出到发送部840。
发送部840例如经因特网等网络、电波、电话线路等来发送视频、音频及定位控制信息数据。
其中,视频编码器820及音频编码器830也可以不压缩数据量。
如上所述,根据本实施方式,在发送数据之前用音像定位处理部350来控制音像方向,以便能够进行最佳的收听,所以在用接收机等来听该分发装置800发送的音频信号的情况下,即使在接收机端不进行附近处理,也能够进行最佳的收听。
此外,同时发送定位控制信息,所以在接收机端能够进行与该定位控制信息相应的最佳的校正处理。
此外,在要处理的信号的声道数为3个声道以上的情况下,用音像定位处理部350处理为双声道的信号,以便能够用立体声头戴式耳机来听,所以要发送的数据的容量很少即可。
其中,作为本实施方式的音像定位处理部,也可以使用上述第3实施方式的另一方面的音像定位处理部420。
接着,图16是本发明第8实施方式的接收装置的图。其中,本实施方式是使用与上述第3实施方式同样的校正部330的接收装置。
如图16所示,本实施方式的接收装置900包括:校正部330,按照收听者和收听环境来进行音像定位控制的校正;接收部910,经因特网等网络、电波、电话线路来接收信息;视频解码器920,对接收到的编码过的视频信号进行解码;音频解码器930,对接收到的编码过的音频信号进行解码;控制部940,进行校正部330的控制;以及视频显示部950,显示视频。在校正部330上连接有重放音频信号的立体声头戴式耳机2010。
在这种接收装置900中,接收部910经因特网等接收到音频信息、视频信息和定位控制信息后,将该信息分解为音频信号、视频信号、定位信息信号等并输出。
从接收部910输出的视频信号由视频解码器920进行解码并输入到视频显示部950,音频信号由音频解码器930进行解码并输入到校正部330,定位信息信号被输入到控制部940。
控制部940根据输入的定位信息信号、要重放的音频信号的种类、或收听状态等,来决定最佳的音像定位校正方法,设置到校正部330中。
校正部330根据控制部940设置的校正方法来处理音频信号,以便正确地对音像进行定位,并输出。从校正部330输出的音频信号由立体声头戴式耳机2010进行重放。
如上所述,根据本实施方式,在接收端进行与收听状态相应的校正处理,以便能够按照通过因特网获得的信号或广播的信号中记录的信号,用立体声头戴式耳机2010进行最佳的收听,所以能够实现正确的音像定位。
其中,作为本实施方式的校正部,也可以使用上述第3实施方式的另一方面的校正部410。
接着,图17是本发明第9实施方式的游戏机的图。其中,本实施方式是使用与上述第3实施方式同样的校正部330及音像定位处理部350的游戏机。
如图17所示,本实施方式的游戏机1000包括:音像定位处理部350,控制音频信号的音像定位方向;校正部330,进行音像定位处理的校正处理;CD、DVD、存储器、硬盘等记录媒体1010,记录着游戏的软件等;信号检测部1020,从记录媒体1010上检测视频信号、音频信号、定位信息信号等;视频显示部1030,显示检测出的视频信号;信号分解部1040,将音频信号分解为进行过音像定位处理的信号和未进行音像定位处理的信号;加法器1050,将音像定位处理部350的输出和信号分解部1040的输出相加;控制部1060,进行音像定位处理部350控制的音像定位方向的设置、视频的控制;以及控制器1070。在校正部330上连接有重放音频信号的立体声头戴式耳机2010。
在这种游戏机1000中,信号检测部1020从CD、DVD、存储器、硬盘等记录媒体1010上记录的信息中检测视频信号、音频信号、定位信息信号,将检测出的视频信号显示在视频显示部1030上。
信号检测部1020检测出的音频信号被输入到信号分解部1040,信号分解部1040将输入的音频信号分解为进行过音像定位处理的信号、和未进行音像定位处理的信号,将进行过音像定位处理的信号输出到加法器1050,将未进行音像定位处理的信号输出到音像定位处理部350。
信号检测部1020检测出的定位信息信号被输入到控制部1060,控制部1060根据输入的定位信息信号,来设置用音像定位处理部350重放的声音的定位方向。
用户在控制器1070上进行按下决定按钮或按下方向键等动作后,表示该动作的信号被通知给控制部1060,控制部1060根据来自控制器1070的信号,来变更视频显示部1030上显示的视频、和音像定位处理部350的设置音像方向。
音像定位处理部350对信号分解部1040分解出的未进行音像定位处理的音频信号,进行定位到控制部1060设置的方向的处理,并输出。
音像定位处理部350的输出信号成为加法器1050的一个输入。加法器1050的另一个输入是信号分解部1040分解出的进行过音像定位处理的音频信号。
加法器1050将音像定位处理部350的输出信号和信号分解部1040的一个输出信号相加,输出到校正部330。
校正部330按照游戏机1000的用户、和使用的立体声头戴式耳机2010的种类等进行最佳的音像定位控制的校正。校正部330的输出信号由立体声头戴式耳机2010进行重放。
如上所述,根据本实施方式,根据记录着游戏软件的记录媒体1010上的定位信息、和用户操作了控制器1070的信息,用立体声头戴式耳机2010沿三维方向对音像进行定位,所以不依赖于在扬声器的中央听等收听位置,并且进行与收听者或使用的立体声头戴式耳机相应的校正,所以能够像软件开发者期望的那样正确地进行音像定位,享受虚拟声音空间。
此外,按照记录媒体1010上记录的音频信号是否进行过音像定位处理来进行音像定位处理,所以能够像软件开发者期望的那样正确地进行音像定位。
其中,作为本实施方式的校正部及音像定位处理部,也可以使用上述第3实施方式的另一方面的校正部410及音像定位处理部420。
接着,图18是本发明第10实施方式的音频信号重放装置的图。其中,本实施方式是使用与上述第3实施方式同样的校正部330的音频信号重放装置。
如图18所示,本实施方式的音频信号重放装置1100包括:重放部1110,由头戴式耳机或耳塞机构成;以及校正部330,进行使用重放部1110的情况下的音像定位处理的校正。
在这种音频信号重放装置1100中,施加过音像定位处理的音频信号被输入到校正部330后,校正部330进行使用重放部1110的情况下的外耳道传递函数校正处理。
校正部330进行过音像定位的校正的音频信号从重放部1110输出。
如上所述,根据本实施方式,对施加过音像定位处理的音频信号,进行与附属的头戴式耳机或耳塞机相应的音像定位的校正处理,所以能够实现正确的音像定位。
此外,校正处理是与附属的头戴式耳机或耳塞机相应的音像定位的处理,所以无需选择校正处理方法。
其中,作为本实施方式的校正部,也可以使用上述第3实施方式的另一方面的校正部410。
如上所述,根据本发明,通过将产生音像的方向变换为侧向角和上升角,对声源信号卷积与这些侧向角及上升角对应的侧向角控制信息、正面方向头部冲击响应以及上升角之差信息,能够不对全部方向测定头部冲击响应,并且用小的存储容量,来减少头部冲击响应的个人差异造成的定位精度的恶化,沿任意的三维方向简便地对音像进行定位。