CN110611863B - 360度音源实时回放系统 - Google Patents

360度音源实时回放系统 Download PDF

Info

Publication number
CN110611863B
CN110611863B CN201910867044.7A CN201910867044A CN110611863B CN 110611863 B CN110611863 B CN 110611863B CN 201910867044 A CN201910867044 A CN 201910867044A CN 110611863 B CN110611863 B CN 110611863B
Authority
CN
China
Prior art keywords
sound source
hrtf
angle
head
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910867044.7A
Other languages
English (en)
Other versions
CN110611863A (zh
Inventor
胡剑凌
唐银环
李瑶天
曹洪龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201910867044.7A priority Critical patent/CN110611863B/zh
Publication of CN110611863A publication Critical patent/CN110611863A/zh
Application granted granted Critical
Publication of CN110611863B publication Critical patent/CN110611863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/027Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种360度音源实时回放系统。本发明一种360度音源实时回放系统,包括:主体由一音频数据头盔(简称头盔)构成,音频数据头盔由头盔框架、麦克风阵列、耳机和处理系统构成,其中耳机根据人耳位置安置,360度音源实时回放处理硬件模块主要实现头部位置感知、音源定位以及基于HRTF的音频重建等处理功能,采用柔性制造工艺在头盔框架内部沿其内轮廓装配;麦克风阵列用于音源定位功能的音频数据采集功能,安置于头盔上。本发明的有益效果:360度音源实时回放系统以置于头盔上的麦克风阵列的TDOA算法对声源定位,结合置于头盔上的倾角传感器感知到的头部运动角度计算HRTF值实现360度音源实时回放。

Description

360度音源实时回放系统
技术领域
本发明涉及音源回放领域,具体涉及一种360度音源实时回放系统。
背景技术
随着科技的进步和发展,越来越多的人对音视频品质的要求也在逐步提高。因而VR(virtual reality)和AR(augmented reality)逐渐地走进了人们的视野。在某种程度上AR可以算作是VR的升级和发展,因为AR在VR的基础上增加了真实的要素。而HRTF(HeadRelated Transfer Function,头相关传输函数)正是可以应用于AR上的一种技术,利用HRTF对声源信号进行滤波可以产生相对应的方向感知。
传统技术存在以下技术问题:
实际应用中,一方面由于HRTF与头部空间位置相关,关于头部的不同角度的HRTF都是各不相同的,如果要测量每个角度的HRTF则需要高昂的成本和一个大容量的内存。另一方面,期望通过接收来自外部的真实声音来对声源进行定位,并通过HRTF及位置传感器信息重建音频信号回放至耳麦内。
发明内容
本发明要解决的技术问题是提供一种360度音源实时回放系统。
为了解决上述技术问题,本发明提供了一种360度音源实时回放系统,包括:主体由一音频数据头盔(简称头盔)构成,音频数据头盔由头盔框架、麦克风阵列、耳机和处理系统构成,其中耳机根据人耳位置安置,360度音源实时回放处理硬件模块主要实现头部位置感知、音源定位以及基于HRTF的音频重建等处理功能,采用柔性制造工艺在头盔框架内部沿其内轮廓装配;麦克风阵列用于音源定位功能的音频数据采集功能,安置于头盔上;
所述360度音源实时回放处理硬件模块包括HRTF计算模块和信号处理模块;其中HRTF计算模块利用位置传感器对头部姿态的定位,并根据麦克风陈列对声源信号定位,进而确定当前声音相对于头部的方位,然后利用位置信息检索HRTF数据库并利用HRTF插值算法计算出该方位的HRTF数据;其中,HRTF数据库出厂时预设存储于360度音源实时回放处理硬件模块的存储器中;信号处理模块主要负责利用计算好的HRTF对数据进行滤波以生成带有方位感的音效;要求头部角度信息的读取间隔和提取的一帧数据的长度保持一致,每一帧数据对应一组读取到的头部角度信息。
在另外的一个实施例中,根据麦克风阵列对声源信号定位具体如下:
假设P点为声源。Mic2、Mic3、Mic4和Mic5分别设置在如图2所示的位置,四个麦克风组成了一个十字阵型;
其中o表示原点,R2、R3、R4、R5分别表示声源P到四个麦克风的距离。x轴正方向表示头部的正前方,y轴正方向表示头部的正左方,z轴表示垂直于地面的方向。θ表示声源的方向角,其计算方式为声源与原点组成的线段在xoy平面上的投影与x轴正半轴的夹角,以x轴正半轴算起从0°沿顺时针依次增大,其范围从0°~360°。
Figure GDA0002229708960000022
表示声源的仰角,其计算方式为声源与原点组成的线段在xoy平面上的投影与xoy平面的夹角,当声源在xoy平面上方时仰角数值为正,当声源在xoy平面下方时仰角为负。四个麦克风的时延关系如(1)所示。
Figure GDA0002229708960000021
其中C代表声速。τ32、τ42、τ52分别表示Mic3、Mic4、Mic5与Mic2之间的时延,他们的值可以通过麦克风接受到的数据求出。
假设P点的位置为(x,y,z),要求出P点的位置,需列出如下方程式,如(2)所示,其中L表示四个麦克风与原点o的距离。
Figure GDA0002229708960000031
结合(1)和(2),可得:
Figure GDA0002229708960000032
所以按公式(3)可以求得(x,y,z)的值,根据几何关系又可以求出方向角θ和仰角
Figure GDA0002229708960000035
但如果只有四个麦克风进行测量,由于他们的安装位置是关于原点对称的,此时如果声源P位于z轴上,那么理论上P点到Mic2~Mic5的距离是相等的,即τ32=τ42=τ52=0,那么根据(3),R2的求解公式上分母是0,所以无法求出声源的正确位置,此时Mic1便会开始工作,其中Mic1与原点的距离也是L。根据Mic1与Mic2接收到的信号,我们可以求出τ21的值,其中τ21表示Mic2与Mic1之间的时延。因此我们可以列出如下公式:
Figure GDA0002229708960000033
根据(4)求解:
Figure GDA0002229708960000034
此时其方向角和仰角亦可相应求出。
另外当满足判决条件(6)时我们可以认定声源P的位置处于坐标轴z上。
Figure GDA0002229708960000041
由于本文设计的是一套头盔系统,所以不考虑P到o的距离小于L的情况;由此,即可完成全向声源定位。
在其中一个实施例中,360度音源实时回放处理硬件模块的HRTF计算模块首先根据公式(1)和公式(6)判断声源位置(P点)是否在Z轴上,如果在Z轴上,利用公式(4)和(5)可进一步求出其方向角和仰角(θo
Figure GDA0002229708960000042
);如果不在Z轴上,可利用公式(2)和(3)求得(x,y,z),进而求出其方向角和仰角(θo
Figure GDA0002229708960000043
)。
在其中一个实施例中,位置传感器对头部姿态的定位具体包括:
在头盔上安装一个倾角传感器或陀螺仪,用以提供人头部转动后的方向角和仰角。结合声源定位计算得出的方向角和仰角即可计算出当前时刻声源相对于人头在坐标系中的方向角和仰角。例如,根据声源定位测得声源的初始方向为(θo
Figure GDA0002229708960000044
),而我们传感器测得的当前时刻人头部的位置为(θs
Figure GDA0002229708960000045
)。根据相对移动原理,当(θos)>0时,可以测得声源关于当前头部位置的方向为(θos
Figure GDA0002229708960000046
当(θos)<0,可以测得声源关于当前头部位置的方向为(360+θos
Figure GDA0002229708960000047
)。
在其中一个实施例中,360度音源实时回放处理硬件模块的HRTF计算模块读取配套的倾角传感器或陀螺仪信息,从而得到人头部转动后的方向角和仰角(θs
Figure GDA0002229708960000048
然后根据相对移动原理,以(θos)的值为判据进行判断:如果(θos)>0,可以测得声源关于当前头部位置的方向为(θos
Figure GDA0002229708960000049
);如果(θos)<0,可以测得声源关于当前头部位置的方向为(360+θos
Figure GDA00022297089600000410
)。
在其中一个实施例中,HRTF数据库的主要参数包括方向角、仰角、距离和HRTF参数;当计算出当前时刻声源相对于头部的角度后,利用已经测得的HRTF数据库的相关数据及插值算法对它进行插值处理来计算得出该角度的HRTF。
在其中一个实施例中,插值算法具体如下:假设P点的HRTF待求,其中A、B、C、D表示数据库中已经存在的和P点位置最接近的4个点,C点为四个点中方向角和仰角均较大的点。Δθ表示C点与P点之间方向角的差值,而
Figure GDA0002229708960000051
表示C点与P点之间仰角的差值,θgrid
Figure GDA0002229708960000052
表示数据库中方向角和仰角的分辨率。其插值计算公式如(8)所示:
HRTFp=αHRTFc+βHRTFA+γHRTFD (8)
其中HRTFA、HRTFC、HRTFD分别为数据库已经存在的数据,α、β、γ为插值权重,其计算方法如(9)所示。
Figure GDA0002229708960000053
其中Δθ表示声源P点与数据库中存在的最接近的方向角的差值(Δθ>0),
Figure GDA0002229708960000054
表示声源P点与数据库中存在的最接近的仰角的差值
Figure GDA0002229708960000055
θgrid
Figure GDA0002229708960000056
表示数据库中方向角和仰角的分辨率。
在其中一个实施例中,得出声源的关于头部中心位置的距离信息,可以根据它求出声源相对与双耳的距离RL、RR,由此可以针对距离对HRTF进行插值;以左耳为例。
其中P点为声源,Q1为数据库中存在的较远的数据点,Q2为数据库中存在的较近的数据点,Δr表示数据库中的距离分辨率。距离插值的计算公式如(10)所示:
HRTFP=a1*HRTFQ1+a2*HRTFQ2 (10)
式中a1、a2分别表示插值权重,其计算方法如(11)所示。
Figure GDA0002229708960000061
在其中一个实施例中,360度音源实时回放处理硬件模块的HRTF计算模块可以根据计算得到的声源定位信息和头部位置感知信息检索HRTF数据库,利用公式(9)和公式(8)采用图5所示插值算法可以计算得到声源(P点)对应的HRTFP
在其中一个实施例中,要求头部角度信息的读取间隔和提取的一帧数据的长度保持一致,每一帧数据对应一组读取到的头部角度信息。首先利用本设计的算法对声源进行定位可以计算出声源的方向角、仰角和它到头部的距离,根据该距离在数据库中找到与其最相邻的两个距离点。然后根据定位得出的声源方向和每一帧获取的头部角度信息可以计算出每一帧数据相对于头部的方向角和仰角,设为(θt
Figure GDA0002229708960000062
)。分别利用插值算法计算这两个距离点上关于(θt
Figure GDA0002229708960000063
)的HRTF。再利用距离插值算法就可以求出这一帧的HRTF。
本发明的有益效果:
360度音源实时回放系统以置于头盔上的麦克风阵列的TDOA算法对声源进行定位,再结合置于头盔上的倾角传感器感知到的头部运动角度,计算出当前时刻声源相对于头部的位置。根据根据计算得到的声源定位信息和头部位置感知信息利用三角插值算法和已经测量好的具有一定分辨率的HRTF数据库计算出该角度的HRTF值,从而实现360度音源实时回放。这样既实现了对外部信号的实时回放,又成功的减少了系统的数据计算量和测量成本。
附图说明
图1是本发明360度音源实时回放系统中的麦克风阵列安装示意图。
图2是本发明360度音源实时回放系统中的头部坐标系示意图。
图3是本发明360度音源实时回放系统中的总体设计原理框图。
图4是本发明360度音源实时回放系统中的声源定位的几何关系示意图
图5是本发明360度音源实时回放系统中的角度插值示意图。
图6是本发明360度音源实时回放系统中的距离插值示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
360度音源实时回放系统主体由一音频数据头盔(简称头盔)构成,音频数据头盔由头盔框架、麦克风阵列、耳机和处理系统构成,其中耳机根据人耳位置安置,360度音源实时回放处理硬件模块主要实现头部位置感知、音源定位以及基于HRTF的音频重建等处理功能,采用柔性制造工艺在头盔框架内部沿其内轮廓装配。麦克风阵列用于音源定位功能的音频数据采集功能,安置于头盔上,其中安置方法如图1所示。
图1所示的半球为头盔,编号1、2、3、4、5为分别表示为五个麦克风,这五个麦克风共同组成了用于声源定位的麦克风阵列。其中这5个麦克风均是全向麦克风。
为描述麦克风阵列的位置,以及头盔的姿态,从而更清晰地表述HRTF,建立关于头部的坐标系,如图2所示。
图2(a)为头部的俯视图,s1和s2为假定的声源,其中θ表示方向角,它以人头部的正前方为0度,顺时针依次增大,范围从0到360度,例如θ_1、θ_2。图2(b)为头部的右视图,s3、s4为假定的声源其中φ表示仰角,以水平面为基准,仰角即为声源方向和水平面的夹角,声源在水平面上方,仰角为正,例如φ_3若在下方则仰角为负,例如φ_4。
360度音源实时回放处理硬件模块实现360度音源实时回放功能,系统的总体设计原理框图如图3所示,其主要包括HRTF计算模块和信号处理模块。其中HRTF计算模块主要利用位置传感器对头部姿态的定位,并根据麦克风陈列对声源信号定位,进而确定当前声音相对于头部的方位,然后利用位置信息检索HRTF数据库并利用HRTF插值算法计算出该方位的HRTF数据。其中,HRTF数据库出厂时预设存储于360度音源实时回放处理硬件模块的存储器中。信号处理模块主要负责利用计算好的HRTF对数据进行滤波以生成带有方位感的音效。要求头部角度信息的读取间隔和提取的一帧数据的长度保持一致,每一帧数据对应一组读取到的头部角度信息。
360度音源实时回放具体处理过程可以分为以下几个步骤:
1.声源定位
(1)声源定位原理
如图4所示,假设P点为声源。Mic2、Mic3、Mic4和Mic5分别设置在如图2所示的位置,四个麦克风组成了一个十字阵型。
其中o表示原点,R2、R3、R4、R5分别表示声源P到四个麦克风的距离。x轴正方向表示头部的正前方,y轴正方向表示头部的正左方,z轴表示垂直于地面的方向。θ表示声源的方向角,其计算方式为声源与原点组成的线段在xoy平面上的投影与x轴正半轴的夹角,以x轴正半轴算起从0°沿顺时针依次增大,其范围从0°~360°。
Figure GDA0002229708960000082
表示声源的仰角,其计算方式为声源与原点组成的线段在xoy平面上的投影与xoy平面的夹角,当声源在xoy平面上方时仰角数值为正,当声源在xoy平面下方时仰角为负。四个麦克风的时延关系如(1)所示。
Figure GDA0002229708960000081
其中C代表声速。τ32、τ42、τ52分别表示Mic3、Mic4、Mic5与Mic2之间的时延,他们的值可以通过麦克风接受到的数据求出。
假设P点的位置为(x,y,z),要求出P点的位置,需列出如下方程式,如(2)所示,其中L表示四个麦克风与原点o的距离。
Figure GDA0002229708960000091
结合(1)和(2),可得:
Figure GDA0002229708960000092
所以按公式(3)可以求得(x,y,z)的值,根据几何关系又可以求出方向角θ和仰角
Figure GDA0002229708960000093
但如果只有四个麦克风进行测量,由于他们的安装位置是关于原点对称的,此时如果声源P位于z轴上,那么理论上P点到Mic2~Mic5的距离是相等的,即τ32=τ42=τ52=0,那么根据(3),R2的求解公式上分母是0,所以无法求出声源的正确位置,此时Mic1便会开始工作,其中Mic1与原点的距离也是L。根据Mic1与Mic2接收到的信号,我们可以求出τ21的值,其中τ21表示Mic2与Mic1之间的时延。因此我们可以列出如下公式:
Figure GDA0002229708960000094
根据(4)求解:
Figure GDA0002229708960000095
此时其方向角和仰角亦可相应求出。
另外当满足判决条件(6)时我们可以认定声源P的位置处于坐标轴z上。
Figure GDA0002229708960000101
由于本文设计的是一套头盔系统,所以不考虑P到o的距离小于L的情况。由此,即可完成全向声源定位。
(2)声源定位方法
360度音源实时回放处理硬件模块的HRTF计算模块首先根据公式(1)和公式(6)判断声源位置(P点)是否在Z轴上,如果在Z轴上,利用公式(4)和(5)可进一步求出其方向角和仰角(θo
Figure GDA0002229708960000102
);如果不在Z轴上,可利用公式(2)和(3)求得(x,y,z),进而求出其方向角和仰角(θo
Figure GDA0002229708960000103
)。
2.头部位置感知
(1)头部位置感知原理
在头盔上安装一个倾角传感器或陀螺仪,用以提供人头部转动后的方向角和仰角。结合声源定位计算得出的方向角和仰角即可计算出当前时刻声源相对于人头在坐标系中的方向角和仰角。例如,根据声源定位测得声源的初始方向为(θo
Figure GDA0002229708960000104
),而我们传感器测得的当前时刻人头部的位置为(θs
Figure GDA0002229708960000105
)。根据相对移动原理,当(θos)>0,可以测得声源关于当前头部位置的方向为(θos
Figure GDA0002229708960000106
当(θos)<0,可以测得声源关于当前头部位置的方向为(360+θos
Figure GDA0002229708960000107
)。
(2)头部感知算法
360度音源实时回放处理硬件模块的HRTF计算模块读取配套的倾角传感器或陀螺仪信息,从而得到人头部转动后的方向角和仰角(θs
Figure GDA0002229708960000108
)。然后根据相对移动原理,以(θos)的值为判据进行判断:如果(θos)>0,可以测得声源关于当前头部位置的方向为(θos
Figure GDA0002229708960000109
);如果(θos)<0,可以测得声源关于当前头部位置的方向为(360+θos
Figure GDA00022297089600001010
)。
3.HRTF数据获取
(1)HRTF数据获取原理
由于要测得任一个角度的HRTF需要非常庞大的成本和计算量,因此可以事先测量出一组具有一定分辨率的HRTF数据库,并存储于系统的存储器中。HRTF数据库的主要参数包括方向角、仰角、距离和HRTF参数。当计算出当前时刻声源相对于头部的角度后,我们可以利用已经测得的HRTF数据库的相关数据及插值算法对它进行插值处理来计算得出该角度的HRTF。
插值算法的示意图如图5所示。
假设P点的HRTF待求,其中A、B、C、D表示数据库中已经存在的和P点位置最接近的4个点,C点为四个点中方向角和仰角均较大的点。Δθ表示C点与P点之间方向角的差值,而
Figure GDA0002229708960000111
表示C点与P点之间仰角的差值,θgrid
Figure GDA0002229708960000112
表示数据库中方向角和仰角的分辨率。其插值计算公式如(8)所示:
HRTFP=αHRTFC+βHRTFA+γHRTFD (8)
其中HRTFA、HRTFC、HRTFD分别为数据库已经存在的数据,α、β、γ为插值权重,其计算方法如(9)所示。
Figure GDA0002229708960000116
其中Δθ表示声源P点与数据库中存在的最接近的方向角的差值(Δθ>0),
Figure GDA0002229708960000113
表示声源P点与数据库中存在的最接近的仰角的差值
Figure GDA0002229708960000114
θgrid
Figure GDA0002229708960000115
表示数据库中方向角和仰角的分辨率。
由于本设计的5个麦克风声源定位还可以得出声源的关于头部中心位置的距离信息,可以根据它求出声源相对与双耳的距离RL、RR,由此可以针对距离对HRTF进行插值。如图6,以左耳为例。
其中P点为声源,Q1为数据库中存在的较远的数据点,Q2为数据库中存在的较近的数据点,Δr表示数据库中的距离分辨率。距离插值的计算公式如(10)所示:
HRTFP=a1*HRTFQ1+a2*HRTFQ2 (10)
式中a1、a2分别表示插值权重,其计算方法如(11)所示。
Figure GDA0002229708960000121
(2)HRTF计算方法
360度音源实时回放处理硬件模块的HRTF计算模块可以根据计算得到的声源定位信息和头部位置感知信息检索HRTF数据库,利用公式(9)和公式(8)采用图5所示插值算法可以计算得到声源(P点)对应的HRTFP
系统在头盔双耳位置确定的情况下,可也可以采用公式(11)和公式(10)采用图6所示插值算法计算得到声源(P点)对应的HRTFP
具体的,如图2所示,要求头部角度信息的读取间隔和提取的一帧数据的长度保持一致,每一帧数据对应一组读取到的头部角度信息。首先利用本设计的算法对声源进行定位可以计算出声源的方向角、仰角和它到头部的距离,根据该距离在数据库中找到与其最相邻的两个距离点。然后根据定位得出的声源方向和每一帧获取的头部角度信息可以计算出每一帧数据相对于头部的方向角和仰角,设为(θt
Figure GDA0002229708960000122
)。分别利用插值算法计算这两个距离点上关于(θt
Figure GDA0002229708960000123
)的HRTF。再利用距离插值算法就可以求出这一帧的HRTF。
4.360度音源实时回放
如图2所示,依次提取一帧信号(20~30ms)进行处理,接收由360度音源实时回放处理硬件模块的HRTF计算模块输出的对应这一帧的HRTF函数。利用HRTF函数对这一帧信号进行滤波,滤波完毕后输出该帧音频,实现360音源实时回放。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例,本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换,均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种360度音源实时回放系统,其特征在于,包括:主体由一音频数据头盔构成,音频数据头盔由头盔框架、麦克风阵列、耳机和处理系统构成,其中耳机根据人耳位置安置,360度音源实时回放处理硬件模块实现头部位置感知、音源定位以及基于HRTF的音频重建处理功能,采用柔性制造工艺在头盔框架内部沿其内轮廓装配;麦克风阵列用于音源定位功能的音频数据采集功能,安置于头盔上;
所述360度音源实时回放处理硬件模块包括HRTF计算模块和信号处理模块;其中HRTF计算模块利用位置传感器对头部姿态的定位,并根据麦克风陈列对声源信号定位,进而确定当前声音相对于头部的方位,然后利用位置信息检索HRTF数据库并利用HRTF插值算法计算出该方位的HRTF数据;其中,HRTF数据库出厂时预设存储于360度音源实时回放处理硬件模块的存储器中;信号处理模块负责利用计算好的HRTF对数据进行滤波以生成带有方位感的音效;要求头部角度信息的读取间隔和提取的一帧数据的长度保持一致,每一帧数据对应一组读取到的头部角度信息。
2.如权利要求1所述的360度音源实时回放系统,其特征在于,根据麦克风阵列对声源信号定位具体如下:
假设P点为声源;Mic2、Mic3、Mic4和Mic5四个麦克风组成了一个十字阵型;
其中o表示原点,R2、R3、R4、R5分别表示声源P到四个麦克风的距离;x轴正方向表示头部的正前方,y轴正方向表示头部的正左方,z轴表示垂直于地面的方向;θ表示声源的方向角,其计算方式为声源与原点组成的线段在xoy平面上的投影与x轴正半轴的夹角,以x轴正半轴算起从0°沿顺时针依次增大,其范围从0°~360°;
Figure FDA0002687937430000011
表示声源的仰角,其计算方式为声源与原点组成的线段在xoy平面上的投影与xoy平面的夹角,当声源在xoy平面上方时仰角数值为正,当声源在xoy平面下方时仰角为负;四个麦克风的时延关系如(1)所示;
Figure FDA0002687937430000021
其中C代表声速;τ32、τ42、τ52分别表示Mic3、Mic4、Mic5与Mic2之间的时延,他们的值可以通过麦克风接受到的数据求出;
假设P点的位置为(x,y,z),要求出P点的位置,需列出如下方程式,如(2)所示,其中L表示四个麦克风与原点o的距离;
Figure FDA0002687937430000022
结合(1)和(2),可得:
Figure FDA0002687937430000023
所以按公式(3)可以求得(x,y,z)的值,根据几何关系又可以求出方向角θ和仰角
Figure FDA0002687937430000024
但如果只有四个麦克风进行测量,由于他们的安装位置是关于原点对称的,此时如果声源P位于z轴上,那么理论上P点到Mic2~Mic5的距离是相等的,即τ32=τ42=τ52=0,那么根据(3),R2的求解公式上分母是0,所以无法求出声源的正确位置,此时Mic1便会开始工作,其中Mic1与原点的距离也是L;根据Mic1与Mic2接收到的信号,可以求出τ21的值,其中τ21表示Mic2与Mic1之间的时延;因此可以列出如下公式:
Figure FDA0002687937430000025
根据(4)求解:
Figure FDA0002687937430000031
此时其方向角和仰角亦可相应求出;
另外当满足判决条件(6)时可以认定声源P的位置处于坐标轴z上;
Figure FDA0002687937430000032
不考虑P到o的距离小于L的情况;由此,即可完成全向声源定位。
3.如权利要求2所述的360度音源实时回放系统,其特征在于,360度音源实时回放处理硬件模块的HRTF计算模块首先根据公式(1)和公式(6)判断声源位置(P点)是否在Z轴上,如果在Z轴上,利用公式(4)和(5)可进一步求出其方向角和仰角
Figure FDA0002687937430000033
如果不在Z轴上,可利用公式(2)和(3)求得(x,y,z),进而求出其方向角和仰角
Figure FDA0002687937430000034
4.如权利要求1所述的360度音源实时回放系统,其特征在于,位置传感器对头部姿态的定位具体包括:
在头盔上安装一个倾角传感器或陀螺仪,用以提供人头部转动后的方向角和仰角;结合声源定位计算得出的方向角和仰角即可计算出当前时刻声源相对于人头在坐标系中的方向角和仰角;例如,根据声源定位测得声源的初始方向为
Figure FDA0002687937430000035
而传感器测得的当前时刻人头部的位置为
Figure FDA0002687937430000036
根据相对移动原理,当(θos)>0时,可以测得声源关于当前头部位置的方向为
Figure FDA0002687937430000037
当(θos)<0,可以测得声源关于当前头部位置的方向为
Figure FDA0002687937430000038
5.如权利要求4所述的360度音源实时回放系统,其特征在于,360度音源实时回放处理硬件模块的HRTF计算模块读取配套的倾角传感器或陀螺仪信息,从而得到人头部转动后的方向角和仰角
Figure FDA0002687937430000041
然后根据相对移动原理,以(θos)的值为判据进行判断:如果(θos)>0,可以测得声源关于当前头部位置的方向为
Figure FDA0002687937430000042
如果(θos)<0,可以测得声源关于当前头部位置的方向为
Figure FDA0002687937430000043
6.如权利要求1所述的360度音源实时回放系统,其特征在于,HRTF数据库的参数包括方向角、仰角、距离和HRTF参数;当计算出当前时刻声源相对于头部的角度后,利用已经测得的HRTF数据库的相关数据及插值算法对它进行插值处理来计算得出该角度的HRTF。
7.如权利要求6所述的360度音源实时回放系统,其特征在于,插值算法具体如下:假设P点的HRTF待求,其中A、B、C、D表示数据库中已经存在的和P点位置最接近的4个点,C点为四个点中方向角和仰角均较大的点;Δθ表示C点与P点之间方向角的差值,而
Figure FDA0002687937430000044
表示C点与P点之间仰角的差值,θgrid
Figure FDA0002687937430000045
表示数据库中方向角和仰角的分辨率;其插值计算公式如(8)所示:
HRTFp=αHRTFC+βHRTFA+γHRTFD (8)
其中HRTFA、HRTFC、HRTFD分别为数据库已经存在的数据,α、β、γ为插值权重,其计算方法如(9)所示;
Figure FDA0002687937430000046
其中Δθ表示声源P点与数据库中存在的最接近的方向角的差值(Δθ>0),
Figure FDA0002687937430000047
表示声源P点与数据库中存在的最接近的仰角的差值
Figure FDA0002687937430000048
θgrid
Figure FDA0002687937430000049
表示数据库中方向角和仰角的分辨率。
8.如权利要求7所述的360度音源实时回放系统,其特征在于,得出声源的关于头部中心位置的距离信息,可以根据它求出声源相对与双耳的距离RL、RR,由此可以针对距离对HRTF进行插值;以左耳为例;
其中P点为声源,Q1为数据库中存在的较远的数据点,Q2为数据库中存在的较近的数据点,Δr表示数据库中的距离分辨率;距离插值的计算公式如(10)所示:
HRTFP=a1*HRTFQ1+a2*HRTFQ2 (10)
式中a1、a2分别表示插值权重,其计算方法如(11)所示;
Figure FDA0002687937430000051
9.如权利要求8所述的360度音源实时回放系统,其特征在于,360度音源实时回放处理硬件模块的HRTF计算模块可以根据计算得到的声源定位信息和头部位置感知信息检索HRTF数据库,利用公式(9)和公式(8)采用图5所示插值算法可以计算得到声源(P点)对应的HRTFP
10.如权利要求9所述的360度音源实时回放系统,其特征在于,要求头部角度信息的读取间隔和提取的一帧数据的长度保持一致,每一帧数据对应一组读取到的头部角度信息;首先利用本设计的算法对声源进行定位可以计算出声源的方向角、仰角和它到头部的距离,根据该距离在数据库中找到与其最相邻的两个距离点;然后根据定位得出的声源方向和每一帧获取的头部角度信息可以计算出每一帧数据相对于头部的方向角和仰角,设为
Figure FDA0002687937430000052
分别利用插值算法计算这两个距离点上关于
Figure FDA0002687937430000053
的HRTF;再利用距离插值算法就可以求出这一帧的HRTF。
CN201910867044.7A 2019-09-12 2019-09-12 360度音源实时回放系统 Active CN110611863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910867044.7A CN110611863B (zh) 2019-09-12 2019-09-12 360度音源实时回放系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910867044.7A CN110611863B (zh) 2019-09-12 2019-09-12 360度音源实时回放系统

Publications (2)

Publication Number Publication Date
CN110611863A CN110611863A (zh) 2019-12-24
CN110611863B true CN110611863B (zh) 2020-11-06

Family

ID=68891197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910867044.7A Active CN110611863B (zh) 2019-09-12 2019-09-12 360度音源实时回放系统

Country Status (1)

Country Link
CN (1) CN110611863B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005032209A2 (en) * 2003-09-29 2005-04-07 Thomson Licensing Method and arrangement for locating aural events such that they have a constant spatial direction using headphones
JP2009194682A (ja) * 2008-02-15 2009-08-27 Sony Corp 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法
CN102572676A (zh) * 2012-01-16 2012-07-11 华南理工大学 一种虚拟听觉环境实时绘制方法
CN103607550A (zh) * 2013-11-27 2014-02-26 北京海尔集成电路设计有限公司 一种根据观看者位置调整电视虚拟声道的方法及电视
CN109997376A (zh) * 2016-11-04 2019-07-09 迪拉克研究公司 使用头部跟踪数据构建音频滤波器数据库

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880649B2 (en) * 2017-09-29 2020-12-29 Apple Inc. System to move sound into and out of a listener's head using a virtual acoustic system
EP3477964B1 (en) * 2017-10-27 2021-03-24 Oticon A/s A hearing system configured to localize a target sound source

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005032209A2 (en) * 2003-09-29 2005-04-07 Thomson Licensing Method and arrangement for locating aural events such that they have a constant spatial direction using headphones
JP2009194682A (ja) * 2008-02-15 2009-08-27 Sony Corp 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法
CN102572676A (zh) * 2012-01-16 2012-07-11 华南理工大学 一种虚拟听觉环境实时绘制方法
CN103607550A (zh) * 2013-11-27 2014-02-26 北京海尔集成电路设计有限公司 一种根据观看者位置调整电视虚拟声道的方法及电视
CN109997376A (zh) * 2016-11-04 2019-07-09 迪拉克研究公司 使用头部跟踪数据构建音频滤波器数据库

Also Published As

Publication number Publication date
CN110611863A (zh) 2019-12-24

Similar Documents

Publication Publication Date Title
US11445321B2 (en) Method for generating customized spatial audio with head tracking
US10397728B2 (en) Differential headtracking apparatus
CN106679651B (zh) 声源定位方法、装置和电子设备
CN107925712B (zh) 捕获声音
US9641951B2 (en) System and method for fast binaural rendering of complex acoustic scenes
JP7442494B2 (ja) 光学式捕捉によるパーソナライズされたhrtf
US11778411B2 (en) Near-field audio rendering
JP2021073763A (ja) 空間化オーディオを用いた仮想現実、拡張現実、および複合現実システム
TW201120469A (en) Method, computer readable storage medium and system for localizing acoustic source
US10674255B2 (en) Sound processing device, method and program
CN110611863B (zh) 360度音源实时回放系统
CN108038291B (zh) 一种基于人体参数适配算法的个性化头相关传递函数生成系统及方法
CN111031468B (zh) 一种基于个体化hrtf立体声的视觉辅助方法与设备
CN114866950A (zh) 音频处理方法、装置、电子设备以及耳机
JP6569945B2 (ja) バイノーラル音生成装置、マイクロホンアレイ、バイノーラル音生成方法、プログラム
JP2018157314A (ja) 情報処理システム、情報処理方法及びプログラム
JP2018064215A (ja) 信号処理装置、信号処理方法、およびプログラム
US10529128B1 (en) Apparatus, system, and method for mapping a 3D environment
Sakamoto et al. SENZI and ASURA: New high-precision sound-space sensing systems based on symmetrically arranged numerous microphones
CN218473315U (zh) 机器人及语音识别设备
US11689878B2 (en) Audio adjustment based on user electrical signals
CN114710726B (zh) 智能穿戴设备的中心定位方法、设备及存储介质
CN115586492A (zh) 一种ar眼镜及其声源虚拟重定位方法和装置
Huo et al. Research on Optimization of VR Panorama Acoustic Field acquisition Technology
Sakamoto et al. Improvement of accuracy of three-dimensional sound space synthesized by real-time SENZI, a sound space information acquisition system using spherical array with numerous microphones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant