CN110611863A - 360度音源实时回放系统 - Google Patents

360度音源实时回放系统 Download PDF

Info

Publication number
CN110611863A
CN110611863A CN201910867044.7A CN201910867044A CN110611863A CN 110611863 A CN110611863 A CN 110611863A CN 201910867044 A CN201910867044 A CN 201910867044A CN 110611863 A CN110611863 A CN 110611863A
Authority
CN
China
Prior art keywords
sound source
hrtf
head
angle
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910867044.7A
Other languages
English (en)
Other versions
CN110611863B (zh
Inventor
胡剑凌
唐银环
李瑶天
曹洪龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201910867044.7A priority Critical patent/CN110611863B/zh
Publication of CN110611863A publication Critical patent/CN110611863A/zh
Application granted granted Critical
Publication of CN110611863B publication Critical patent/CN110611863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/22—Position of source determined by co-ordinating a plurality of position lines defined by path-difference measurements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Stereophonic System (AREA)

Abstract

本发明公开了一种360度音源实时回放系统。本发明一种360度音源实时回放系统，包括：主体由一音频数据头盔(简称头盔)构成，音频数据头盔由头盔框架、麦克风阵列、耳机和处理系统构成，其中耳机根据人耳位置安置，360度音源实时回放处理硬件模块主要实现头部位置感知、音源定位以及基于HRTF的音频重建等处理功能，采用柔性制造工艺在头盔框架内部沿其内轮廓装配；麦克风阵列用于音源定位功能的音频数据采集功能，安置于头盔上。本发明的有益效果：360度音源实时回放系统以置于头盔上的麦克风阵列的TDOA算法对声源定位，结合置于头盔上的倾角传感器感知到的头部运动角度计算HRTF值实现360度音源实时回放。

Description

360度音源实时回放系统
技术领域
本发明涉及音源回放领域，具体涉及一种360度音源实时回放系统。
背景技术
随着科技的进步和发展，越来越多的人对音视频品质的要求也在逐步提高。 因而VR(virtual reality)和AR(augmented reality)逐渐地走进了人们的 视野。在某种程度上AR可以算作是VR的升级和发展，因为AR在VR的基础上 增加了真实的要素。而HRTF(HeadRelated Transfer Function，头相关传输 函数)正是可以应用于AR上的一种技术，利用HRTF对声源信号进行滤波可以 产生相对应的方向感知。
传统技术存在以下技术问题：
实际应用中，一方面由于HRTF与头部空间位置相关，关于头部的不同角度 的HRTF都是各不相同的，如果要测量每个角度的HRTF则需要高昂的成本和一 个大容量的内存。另一方面，期望通过接收来自外部的真实声音来对声源进行 定位，并通过HRTF及位置传感器信息重建音频信号回放至耳麦内。
发明内容
本发明要解决的技术问题是提供一种360度音源实时回放系统。
为了解决上述技术问题，本发明提供了一种360度音源实时回放系统，包 括：主体由一音频数据头盔(简称头盔)构成，音频数据头盔由头盔框架、麦 克风阵列、耳机和处理系统构成，其中耳机根据人耳位置安置，360度音源实 时回放处理硬件模块主要实现头部位置感知、音源定位以及基于HRTF的音频 重建等处理功能，采用柔性制造工艺在头盔框架内部沿其内轮廓装配；麦克风 阵列用于音源定位功能的音频数据采集功能，安置于头盔上；
所述360度音源实时回放处理硬件模块包括HRTF计算模块和信号处理模 块；其中HRTF计算模块利用位置传感器对头部姿态的定位，并根据麦克风陈 列对声源信号定位，进而确定当前声音相对于头部的方位，然后利用位置信息 检索HRTF数据库并利用HRTF插值算法计算出该方位的HRTF数据；其中， HRTF数据库出厂时预设存储于360度音源实时回放处理硬件模块的存储器中； 信号处理模块主要负责利用计算好的HRTF对数据进行滤波以生成带有方位感 的音效；要求头部角度信息的读取间隔和提取的一帧数据的长度保持一致，每 一帧数据对应一组读取到的头部角度信息。
在另外的一个实施例中，根据麦克风阵列对声源信号定位具体如下：
假设P点为声源。Mic2、Mic3、Mic4和Mic5分别设置在如图2所示的位置，四 个麦克风组成了一个十字阵型；
其中o表示原点，R2、R3、R4、R5分别表示声源P到四个麦克风的距离。x 轴正方向表示头部的正前方，y轴正方向表示头部的正左方，z轴表示垂直于地 面的方向。θ表示声源的方向角，其计算方式为声源与原点组成的线段在xoy平 面上的投影与x轴正半轴的夹角，以x轴正半轴算起从0°沿顺时针依次增大， 其范围从0°～360°。表示声源的仰角，其计算方式为声源与原点组成的线段在xoy 平面上的投影与xoy平面的夹角，当声源在xoy平面上方时仰角数值为正，当 声源在xoy平面下方时仰角为负。四个麦克风的时延关系如(1)所示。
其中C代表声速。τ32、τ42、τ52分别表示Mic3、Mic4、Mic5与Mic2之间的时延，他 们的值可以通过麦克风接受到的数据求出。
假设P点的位置为(x，y，z)，要求出P点的位置，需列出如下方程式，如(2) 所示，其中L表示四个麦克风与原点o的距离。
结合(1)和(2)，可得：
所以按公式(3)可以求得(x，y，z)的值，根据几何关系又可以求出方向角θ和 仰角
但如果只有四个麦克风进行测量，由于他们的安装位置是关于原点对称的， 此时如果声源P位于z轴上，那么理论上P点到Mic2～Mic5的距离是相等的，即 τ32＝τ42＝τ52＝0，那么根据(3)，R2的求解公式上分母是0，所以无法求出声源的正 确位置，此时Mic1便会开始工作，其中Mic1与原点的距离也是L。根据Mic1与Mic2接 收到的信号，我们可以求出τ21的值，其中τ21表示Mic2与Mic1之间的时延。因此我 们可以列出如下公式：
根据(4)求解：
此时其方向角和仰角亦可相应求出。
另外当满足判决条件(6)时我们可以认定声源P的位置处于坐标轴z上。
由于本文设计的是一套头盔系统，所以不考虑P到o的距离小于L的情况； 由此，即可完成全向声源定位。
在其中一个实施例中，360度音源实时回放处理硬件模块的HRTF计算模 块首先根据公式(1)和公式(6)判断声源位置(P点)是否在Z轴上，如果 在Z轴上，利用公式(4)和(5)可进一步求出其方向角和仰角如果 不在Z轴上，可利用公式(2)和(3)求得(x，y，z)，进而求出其方向角和仰角
在其中一个实施例中，位置传感器对头部姿态的定位具体包括：
在头盔上安装一个倾角传感器或陀螺仪，用以提供人头部转动后的方向角 和仰角。结合声源定位计算得出的方向角和仰角即可计算出当前时刻声源相对 于人头在坐标系中的方向角和仰角。例如，根据声源定位测得声源的初始方向 为而我们传感器测得的当前时刻人头部的位置为根据相对 移动原理，当(θo-θs)＞0时，可以测得声源关于当前头部位置的方向为 当(θo-θs)＜0，可以测得声源关于当前头部位置的方向为
在其中一个实施例中，360度音源实时回放处理硬件模块的HRTF计算模 块读取配套的倾角传感器或陀螺仪信息，从而得到人头部转动后的方向角和仰 角然后根据相对移动原理，以(θo-θs)的值为判据进行判断：如果 (θo-θs)＞0，可以测得声源关于当前头部位置的方向为如果 (θo-θs)＜0，可以测得声源关于当前头部位置的方向为
在其中一个实施例中，HRTF数据库的主要参数包括方向角、仰角、距离 和HRTF参数；当计算出当前时刻声源相对于头部的角度后，利用已经测得的 HRTF数据库的相关数据及插值算法对它进行插值处理来计算得出该角度的HRTF。
在其中一个实施例中，插值算法具体如下：假设P点的HRTF待求，其中 A、B、C、D表示数据库中已经存在的和P点位置最接近的4个点，C点为四 个点中方向角和仰角均较大的点。Δθ表示C点与P点之间方向角的差值，而表示C点与P点之间仰角的差值，θgrid、表示数据库中方向角和仰角的分辨 率。其插值计算公式如(8)所示：
HRTFp＝αHRTFC+βHRTFA+γHRTFD (8)
其中HRTFA、HRTFC、HRTFD分别为数据库已经存在的数据，α、β、γ为插值权 重，其计算方法如(9)所示。
其中Δθ表示声源P点与数据库中存在的最接近的方向角的差值(Δθ＞0)，表示声源P点与数据库中存在的最接近的仰角的差值θgrid、表示 数据库中方向角和仰角的分辨率。
在其中一个实施例中，得出声源的关于头部中心位置的距离信息，可以根 据它求出声源相对与双耳的距离RL、RR，由此可以针对距离对HRTF进行插值； 以左耳为例。
其中P点为声源，Q1为数据库中存在的较远的数据点，Q2为数据库中存 在的较近的数据点，Δr表示数据库中的距离分辨率。距离插值的计算公式如(10) 所示：
HRTFP＝a1*HRTFQ1+a2*HRTFQ2 (10)
式中a1、a2分别表示插值权重，其计算方法如(11)所示。
在其中一个实施例中，360度音源实时回放处理硬件模块的HRTF计算模 块可以根据计算得到的声源定位信息和头部位置感知信息检索HRTF数据库， 利用公式(9)和公式(8)采用图5所示插值算法可以计算得到声源(P点) 对应的HRTFP。
在其中一个实施例中，要求头部角度信息的读取间隔和提取的一帧数据的 长度保持一致，每一帧数据对应一组读取到的头部角度信息。首先利用本设计 的算法对声源进行定位可以计算出声源的方向角、仰角和它到头部的距离，根 据该距离在数据库中找到与其最相邻的两个距离点。然后根据定位得出的声源 方向和每一帧获取的头部角度信息可以计算出每一帧数据相对于头部的方向角 和仰角，设为分别利用插值算法计算这两个距离点上关于的 HRTF。再利用距离插值算法就可以求出这一帧的HRTF。
本发明的有益效果：
360度音源实时回放系统以置于头盔上的麦克风阵列的TDOA算法对声源 进行定位，再结合置于头盔上的倾角传感器感知到的头部运动角度，计算出当 前时刻声源相对于头部的位置。根据根据计算得到的声源定位信息和头部位置 感知信息利用三角插值算法和已经测量好的具有一定分辨率的HRTF数据库计 算出该角度的HRTF值，从而实现360度音源实时回放。这样既实现了对外部 信号的实时回放，又成功的减少了系统的数据计算量和测量成本。
附图说明
图1是本发明360度音源实时回放系统中的麦克风阵列安装示意图。
图2是本发明360度音源实时回放系统中的头部坐标系示意图。
图3是本发明360度音源实时回放系统中的总体设计原理框图。
图4是本发明360度音源实时回放系统中的声源定位的几何关系示意图
图5是本发明360度音源实时回放系统中的角度插值示意图。
图6是本发明360度音源实时回放系统中的距离插值示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人 员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
360度音源实时回放系统主体由一音频数据头盔(简称头盔)构成，音频 数据头盔由头盔框架、麦克风阵列、耳机和处理系统构成，其中耳机根据人耳 位置安置，360度音源实时回放处理硬件模块主要实现头部位置感知、音源定 位以及基于HRTF的音频重建等处理功能，采用柔性制造工艺在头盔框架内部沿 其内轮廓装配。麦克风阵列用于音源定位功能的音频数据采集功能，安置于头 盔上，其中安置方法如图1所示。
图1所示的半球为头盔，编号1、2、3、4、5为分别表示为五个麦克风， 这五个麦克风共同组成了用于声源定位的麦克风阵列。其中这5个麦克风均是 全向麦克风。
为描述麦克风阵列的位置，以及头盔的姿态，从而更清晰地表述HRTF，建 立关于头部的坐标系，如图2所示。
图2(a)为头部的俯视图，s1和s2为假定的声源，其中θ表示方向角， 它以人头部的正前方为0度，顺时针依次增大，范围从0到360度，例如θ_1、 θ_2。图2(b)为头部的右视图，s3、s4为假定的声源其中φ表示仰角，以水 平面为基准，仰角即为声源方向和水平面的夹角，声源在水平面上方，仰角为 正，例如φ_3若在下方则仰角为负，例如φ_4。
360度音源实时回放处理硬件模块实现360度音源实时回放功能，系统的 总体设计原理框图如图3所示，其主要包括HRTF计算模块和信号处理模块。其 中HRTF计算模块主要利用位置传感器对头部姿态的定位，并根据麦克风陈列对 声源信号定位，进而确定当前声音相对于头部的方位，然后利用位置信息检索 HRTF数据库并利用HRTF插值算法计算出该方位的HRTF数据。其中，HRTF数据 库出厂时预设存储于360度音源实时回放处理硬件模块的存储器中。信号处理 模块主要负责利用计算好的HRTF对数据进行滤波以生成带有方位感的音效。要 求头部角度信息的读取间隔和提取的一帧数据的长度保持一致，每一帧数据对 应一组读取到的头部角度信息。
360度音源实时回放具体处理过程可以分为以下几个步骤：
1.声源定位
(1)声源定位原理
如图4所示，假设P点为声源。Mic2、Mic3、Mic4和Mic5分别设置在如图2所 示的位置，四个麦克风组成了一个十字阵型。
其中o表示原点，R2、R3、R4、R5分别表示声源P到四个麦克风的距离。x 轴正方向表示头部的正前方，y轴正方向表示头部的正左方，z轴表示垂直于地 面的方向。θ表示声源的方向角，其计算方式为声源与原点组成的线段在xoy平 面上的投影与x轴正半轴的夹角，以x轴正半轴算起从0°沿顺时针依次增大， 其范围从0°～360°。表示声源的仰角，其计算方式为声源与原点组成的线段在xoy 平面上的投影与xoy平面的夹角，当声源在xoy平面上方时仰角数值为正，当 声源在xoy平面下方时仰角为负。四个麦克风的时延关系如(1)所示。
其中C代表声速。τ32、τ42、τ52分别表示Mic3、Mic4、Mic5与Mic2之间的时延，他 们的值可以通过麦克风接受到的数据求出。
假设P点的位置为(x，y，z)，要求出P点的位置，需列出如下方程式，如(2) 所示，其中L表示四个麦克风与原点o的距离。
结合(1)和(2)，可得：
所以按公式(3)可以求得(x，y，z)的值，根据几何关系又可以求出方向角θ 和仰角
但如果只有四个麦克风进行测量，由于他们的安装位置是关于原点对称的， 此时如果声源P位于z轴上，那么理论上P点到Mic2～Mic5的距离是相等的，即 τ32＝τ42＝τ52＝0，那么根据(3)，R2的求解公式上分母是0，所以无法求出声源的正 确位置，此时Mic1便会开始工作，其中Mic1与原点的距离也是L。根据Mic1与Mic2接 收到的信号，我们可以求出τ21的值，其中τ21表示Mic2与Mic1之间的时延。因此我 们可以列出如下公式：
根据(4)求解：
此时其方向角和仰角亦可相应求出。
另外当满足判决条件(6)时我们可以认定声源P的位置处于坐标轴z上。
由于本文设计的是一套头盔系统，所以不考虑P到o的距离小于L的情况。 由此，即可完成全向声源定位。
(2)声源定位方法
360度音源实时回放处理硬件模块的HRTF计算模块首先根据公式(1)和 公式(6)判断声源位置(P点)是否在Z轴上，如果在Z轴上，利用公式(4) 和(5)可进一步求出其方向角和仰角如果不在Z轴上，可利用公式 (2)和(3)求得(x，y，z)，进而求出其方向角和仰角
2.头部位置感知
(1)头部位置感知原理
在头盔上安装一个倾角传感器或陀螺仪，用以提供人头部转动后的方向角 和仰角。结合声源定位计算得出的方向角和仰角即可计算出当前时刻声源相对 于人头在坐标系中的方向角和仰角。例如，根据声源定位测得声源的初始方向 为而我们传感器测得的当前时刻人头部的位置为根据相对 移动原理，当(θo-θs)＞0时，可以测得声源关于当前头部位置的方向为 当(θo-θs)＜0，可以测得声源关于当前头部位置的方向为
(2)头部感知算法
360度音源实时回放处理硬件模块的HRTF计算模块读取配套的倾角传感器 或陀螺仪信息，从而得到人头部转动后的方向角和仰角然后根据相 对移动原理，以(θo-θs)的值为判据进行判断：如果(θo-θs)＞0，可以测得声源关 于当前头部位置的方向为如果(θo-θs)＜0，可以测得声源关 于当前头部位置的方向为
3.HRTF数据获取
(1)HRTF数据获取原理
由于要测得任一个角度的HRTF需要非常庞大的成本和计算量，因此可以事 先测量出一组具有一定分辨率的HRTF数据库，并存储于系统的存储器中。HRTF 数据库的主要参数包括方向角、仰角、距离和HRTF参数。当计算出当前时刻声 源相对于头部的角度后，我们可以利用已经测得的HRTF数据库的相关数据及插 值算法对它进行插值处理来计算得出该角度的HRTF。
插值算法的示意图如图5所示。
假设P点的HRTF待求，其中A、B、C、D表示数据库中已经存在的和P点 位置最接近的4个点，C点为四个点中方向角和仰角均较大的点。Δθ表示C点 与P点之间方向角的差值，而表示C点与P点之间仰角的差值，θgrid、表 示数据库中方向角和仰角的分辨率。其插值计算公式如(8)所示：
HRTFp＝αHRTFc+βHRTFA+γHRTFD (8)
其中HRTFA、HRTFC、HRTFD分别为数据库已经存在的数据，α、β、γ为插值权 重，其计算方法如(9)所示。
其中Δθ表示声源P点与数据库中存在的最接近的方向角的差值(Δθ＞0)，表示声源P点与数据库中存在的最接近的仰角的差值θgrid、表示 数据库中方向角和仰角的分辨率。
由于本设计的5个麦克风声源定位还可以得出声源的关于头部中心位置的 距离信息，可以根据它求出声源相对与双耳的距离RL、RR，由此可以针对距离 对HRTF进行插值。如图6，以左耳为例。
其中P点为声源，Q1为数据库中存在的较远的数据点，Q2为数据库中存在 的较近的数据点，Δr表示数据库中的距离分辨率。距离插值的计算公式如(10) 所示：
HRTFP＝a1*HRTFQ1+a2*HRTFQ2 (10) 式中a1、a2分别表示插值权重，其计算方法如(11)所示。
(2)HRTF计算方法
360度音源实时回放处理硬件模块的HRTF计算模块可以根据计算得到 的声源定位信息和头部位置感知信息检索HRTF数据库，利用公式(9)和公 式(8)采用图5所示插值算法可以计算得到声源(P点)对应的HRTFP。
系统在头盔双耳位置确定的情况下，可也可以采用公式(11)和公式(10) 采用图6所示插值算法计算得到声源(P点)对应的HRTFP。
具体的，如图2所示，要求头部角度信息的读取间隔和提取的一帧数据的 长度保持一致，每一帧数据对应一组读取到的头部角度信息。首先利用本设计 的算法对声源进行定位可以计算出声源的方向角、仰角和它到头部的距离，根 据该距离在数据库中找到与其最相邻的两个距离点。然后根据定位得出的声源 方向和每一帧获取的头部角度信息可以计算出每一帧数据相对于头部的方向角 和仰角，设为分别利用插值算法计算这两个距离点上关于的 HRTF。再利用距离插值算法就可以求出这一帧的HRTF。
4.360度音源实时回放
如图2所示，依次提取一帧信号(20～30ms)进行处理，接收由360度音源 实时回放处理硬件模块的HRTF计算模块输出的对应这一帧的HRTF函数。利用HRTF函数对这一帧信号进行滤波，滤波完毕后输出该帧音频，实现360音源实 时回放。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的 保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或 变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种360度音源实时回放系统，其特征在于，包括：主体由一音频数据头盔(简称头盔)构成，音频数据头盔由头盔框架、麦克风阵列、耳机和处理系统构成，其中耳机根据人耳位置安置，360度音源实时回放处理硬件模块主要实现头部位置感知、音源定位以及基于HRTF的音频重建等处理功能，采用柔性制造工艺在头盔框架内部沿其内轮廓装配；麦克风阵列用于音源定位功能的音频数据采集功能，安置于头盔上；
所述360度音源实时回放处理硬件模块包括HRTF计算模块和信号处理模块；其中HRTF计算模块利用位置传感器对头部姿态的定位，并根据麦克风陈列对声源信号定位，进而确定当前声音相对于头部的方位，然后利用位置信息检索HRTF数据库并利用HRTF插值算法计算出该方位的HRTF数据；其中，HRTF数据库出厂时预设存储于360度音源实时回放处理硬件模块的存储器中；信号处理模块主要负责利用计算好的HRTF对数据进行滤波以生成带有方位感的音效；要求头部角度信息的读取间隔和提取的一帧数据的长度保持一致，每一帧数据对应一组读取到的头部角度信息。
2.如权利要求1所述的360度音源实时回放系统，其特征在于，根据麦克风阵列对声源信号定位具体如下：
假设P点为声源。Mic2、Mic3、Mic4和Mic5分别设置在如图2所示的位置，四个麦克风组成了一个十字阵型；
其中o表示原点，R2、R3、R4、R5分别表示声源P到四个麦克风的距离。x轴正方向表示头部的正前方，y轴正方向表示头部的正左方，z轴表示垂直于地面的方向。θ表示声源的方向角，其计算方式为声源与原点组成的线段在xoy平面上的投影与x轴正半轴的夹角，以x轴正半轴算起从0°沿顺时针依次增大，其范围从0°～360°。表示声源的仰角，其计算方式为声源与原点组成的线段在xoy平面上的投影与xoy平面的夹角，当声源在xoy平面上方时仰角数值为正，当声源在xoy平面下方时仰角为负。四个麦克风的时延关系如(1)所示。
其中C代表声速。τ32、τ42、τ52分别表示Mic3、Mic4、Mic5与Mic2之间的时延，他们的值可以通过麦克风接受到的数据求出。
假设P点的位置为(x，y，z)，要求出P点的位置，需列出如下方程式，如(2)所示，其中L表示四个麦克风与原点o的距离。
结合(1)和(2)，可得：
所以按公式(3)可以求得(x,y,z)的值，根据几何关系又可以求出方向角θ和仰角
但如果只有四个麦克风进行测量，由于他们的安装位置是关于原点对称的，此时如果声源P位于z轴上，那么理论上P点到Mic2～Mic5的距离是相等的，即τ32＝τ42＝τ52＝0，那么根据(3)，R2的求解公式上分母是0，所以无法求出声源的正确位置，此时Mic1便会开始工作，其中Mic1与原点的距离也是L。根据Mic1与Mic2接收到的信号，我们可以求出τ21的值，其中τ21表示Mic2与Mic1之间的时延。因此我们可以列出如下公式：
根据(4)求解：
此时其方向角和仰角亦可相应求出。
另外当满足判决条件(6)时我们可以认定声源P的位置处于坐标轴z上。
且
由于本文设计的是一套头盔系统，所以不考虑P到o的距离小于L的情况；由此，即可完成全向声源定位。
3.如权利要求2所述的360度音源实时回放系统，其特征在于，360度音源实时回放处理硬件模块的HRTF计算模块首先根据公式(1)和公式(6)判断声源位置(P点)是否在Z轴上，如果在Z轴上，利用公式(4)和(5)可进一步求出其方向角和仰角如果不在Z轴上，可利用公式(2)和(3)求得(x,y,z)，进而求出其方向角和仰角
4.如权利要求1所述的360度音源实时回放系统，其特征在于，位置传感器对头部姿态的定位具体包括:
在头盔上安装一个倾角传感器或陀螺仪，用以提供人头部转动后的方向角和仰角。结合声源定位计算得出的方向角和仰角即可计算出当前时刻声源相对于人头在坐标系中的方向角和仰角。例如，根据声源定位测得声源的初始方向为而我们传感器测得的当前时刻人头部的位置为根据相对移动原理，当(θo-θs)＞0时，可以测得声源关于当前头部位置的方向为当(θo-θs)＜0，可以测得声源关于当前头部位置的方向为
5.如权利要求4所述的360度音源实时回放系统，其特征在于，360度音源实时回放处理硬件模块的HRTF计算模块读取配套的倾角传感器或陀螺仪信息，从而得到人头部转动后的方向角和仰角然后根据相对移动原理，以(θo-θs)的值为判据进行判断：如果(θo-θs)＞0，可以测得声源关于当前头部位置的方向为如果(θo-θs)＜0，可以测得声源关于当前头部位置的方向为
6.如权利要求1所述的360度音源实时回放系统，其特征在于，HRTF数据库的主要参数包括方向角、仰角、距离和HRTF参数；当计算出当前时刻声源相对于头部的角度后，利用已经测得的HRTF数据库的相关数据及插值算法对它进行插值处理来计算得出该角度的HRTF。
7.如权利要求6所述的360度音源实时回放系统，其特征在于，插值算法具体如下：假设P点的HRTF待求，其中A、B、C、D表示数据库中已经存在的和P点位置最接近的4个点，C点为四个点中方向角和仰角均较大的点。Δθ表示C点与P点之间方向角的差值，而表示C点与P点之间仰角的差值，θgrid、表示数据库中方向角和仰角的分辨率。其插值计算公式如(8)所示：
HRTFp＝αHRTFC+βHRTFA+γHRTFD (8)
其中HRTFA、HRTFC、HRTFD分别为数据库已经存在的数据，α、β、γ为插值权重，其计算方法如(9)所示。
其中Δθ表示声源P点与数据库中存在的最接近的方向角的差值(Δθ>0)，表示声源P点与数据库中存在的最接近的仰角的差值θgrid、表示数据库中方向角和仰角的分辨率。
8.如权利要求7所述的360度音源实时回放系统，其特征在于，得出声源的关于头部中心位置的距离信息，可以根据它求出声源相对与双耳的距离RL、RR，由此可以针对距离对HRTF进行插值；以左耳为例。
其中P点为声源，Q1为数据库中存在的较远的数据点，Q2为数据库中存在的较近的数据点，Δr表示数据库中的距离分辨率。距离插值的计算公式如(10)所示：
HRTFP＝a1*HRTFQ1+a2*HRTFQ2 (10)
式中a1、a2分别表示插值权重，其计算方法如(11)所示。
9.如权利要求8所述的360度音源实时回放系统，其特征在于，360度音源实时回放处理硬件模块的HRTF计算模块可以根据计算得到的声源定位信息和头部位置感知信息检索HRTF数据库，利用公式(9)和公式(8)采用图5所示插值算法可以计算得到声源(P点)对应的HRTFP。
10.如权利要求9所述的360度音源实时回放系统，其特征在于，要求头部角度信息的读取间隔和提取的一帧数据的长度保持一致，每一帧数据对应一组读取到的头部角度信息。首先利用本设计的算法对声源进行定位可以计算出声源的方向角、仰角和它到头部的距离，根据该距离在数据库中找到与其最相邻的两个距离点。然后根据定位得出的声源方向和每一帧获取的头部角度信息可以计算出每一帧数据相对于头部的方向角和仰角，设为分别利用插值算法计算这两个距离点上关于的HRTF。再利用距离插值算法就可以求出这一帧的HRTF。
CN201910867044.7A 2019-09-12 2019-09-12 360度音源实时回放系统 Active CN110611863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910867044.7A CN110611863B (zh) 2019-09-12 2019-09-12 360度音源实时回放系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910867044.7A CN110611863B (zh) 2019-09-12 2019-09-12 360度音源实时回放系统

Publications (2)

Publication Number Publication Date
CN110611863A true CN110611863A (zh) 2019-12-24
CN110611863B CN110611863B (zh) 2020-11-06

Family

ID=68891197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910867044.7A Active CN110611863B (zh) 2019-09-12 2019-09-12 360度音源实时回放系统

Country Status (1)

Country Link
CN (1) CN110611863B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005032209A2 (en) * 2003-09-29 2005-04-07 Thomson Licensing Method and arrangement for locating aural events such that they have a constant spatial direction using headphones
JP2009194682A (ja) * 2008-02-15 2009-08-27 Sony Corp 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法
CN102572676A (zh) * 2012-01-16 2012-07-11 华南理工大学 一种虚拟听觉环境实时绘制方法
CN103607550A (zh) * 2013-11-27 2014-02-26 北京海尔集成电路设计有限公司 一种根据观看者位置调整电视虚拟声道的方法及电视
CN109587601A (zh) * 2017-09-29 2019-04-05 苹果公司 使用虚拟声学系统将声音移入和移出听者头部的系统
CN109997376A (zh) * 2016-11-04 2019-07-09 迪拉克研究公司 使用头部跟踪数据构建音频滤波器数据库
CN110035366A (zh) * 2017-10-27 2019-07-19 奥迪康有限公司 配置成定位目标声源的听力系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005032209A2 (en) * 2003-09-29 2005-04-07 Thomson Licensing Method and arrangement for locating aural events such that they have a constant spatial direction using headphones
JP2009194682A (ja) * 2008-02-15 2009-08-27 Sony Corp 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法
CN102572676A (zh) * 2012-01-16 2012-07-11 华南理工大学 一种虚拟听觉环境实时绘制方法
CN103607550A (zh) * 2013-11-27 2014-02-26 北京海尔集成电路设计有限公司 一种根据观看者位置调整电视虚拟声道的方法及电视
CN109997376A (zh) * 2016-11-04 2019-07-09 迪拉克研究公司 使用头部跟踪数据构建音频滤波器数据库
CN109587601A (zh) * 2017-09-29 2019-04-05 苹果公司 使用虚拟声学系统将声音移入和移出听者头部的系统
CN110035366A (zh) * 2017-10-27 2019-07-19 奥迪康有限公司 配置成定位目标声源的听力系统

Also Published As

Publication number Publication date
CN110611863B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
US11445321B2 (en) Method for generating customized spatial audio with head tracking
US10397728B2 (en) Differential headtracking apparatus
CN106679651B (zh) 声源定位方法、装置和电子设备
US9641951B2 (en) System and method for fast binaural rendering of complex acoustic scenes
JP6514089B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
US20220360931A1 (en) Signal processing device, signal processing method, and program
US20100150355A1 (en) Information processing system and information processing method
CN104284291A (zh) 5.1通路环绕声的耳机动态虚拟重放方法及其实现装置
US20120162362A1 (en) Mapping sound spatialization fields to panoramic video
US11778411B2 (en) Near-field audio rendering
CN106210990A (zh) 一种全景声音频处理方法
US10674255B2 (en) Sound processing device, method and program
CN110611863B (zh) 360度音源实时回放系统
CN111031468B (zh) 一种基于个体化hrtf立体声的视觉辅助方法与设备
CN105959877B (zh) 一种虚拟现实设备中声场的处理方法及装置
JP6569945B2 (ja) バイノーラル音生成装置、マイクロホンアレイ、バイノーラル音生成方法、プログラム
JP2018157314A (ja) 情報処理システム、情報処理方法及びプログラム
US10529128B1 (en) Apparatus, system, and method for mapping a 3D environment
Sakamoto et al. SENZI and ASURA: New high-precision sound-space sensing systems based on symmetrically arranged numerous microphones
CN112188382A (zh) 一种声音信号处理方法、装置、设备和存储介质
WO2021194487A1 (en) Head-related transfer functions with antropometric measurements
CN218473315U (zh) 机器人及语音识别设备
JP5346187B2 (ja) 頭部音響伝達関数補間装置、そのプログラムおよび方法
CN116997770A (zh) 磁力计的校准
Sakamoto et al. Improvement of accuracy of three-dimensional sound space synthesized by real-time SENZI, a sound space information acquisition system using spherical array with numerous microphones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant