CN112148117B - 声音处理装置及声音处理方法 - Google Patents
声音处理装置及声音处理方法 Download PDFInfo
- Publication number
- CN112148117B CN112148117B CN202010528601.5A CN202010528601A CN112148117B CN 112148117 B CN112148117 B CN 112148117B CN 202010528601 A CN202010528601 A CN 202010528601A CN 112148117 B CN112148117 B CN 112148117B
- Authority
- CN
- China
- Prior art keywords
- direction information
- information
- head
- sensor
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 78
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012546 transfer Methods 0.000 claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000012937 correction Methods 0.000 claims abstract description 47
- 230000005236 sound signal Effects 0.000 claims abstract description 33
- 230000004807 localization Effects 0.000 claims abstract description 28
- 238000012935 Averaging Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 30
- 210000003128 head Anatomy 0.000 description 92
- 238000010586 diagram Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 229920005994 diacetyl cellulose Polymers 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Stereophonic System (AREA)
Abstract
本发明的声音处理装置及声音处理方法，即使发生漂移，也会高精度地求出听者的头部的朝向。声音处理装置包含：传感器，其输出与听者的头部的姿态相对应的检测信号；传感器信号处理部，其通过基于检测信号的运算而求出听者的头部所朝向的方向，输出表示该方向的方向信息；传感器输出校正部，其基于将方向信息平均化的平均信息，对从传感器信号处理部输出的方向信息进行校正；头部相关传输函数修正部，其按照校正后的方向信息对预先求出的头部相关传输函数进行修正；以及音像定位处理部，其与修正后的头部相关传输函数相应地对播放对象的声音信号实施音像定位处理。
Description
技术领域
本发明涉及声音处理装置及声音处理方法。
背景技术
如果听者佩戴耳机等，则音像在头内定位。已知下述技术，即，如果音像在头内定位，则由于对听者赋予不自然的感觉，因此使用头部相关传输函数(Head RelatedTransfer Function)而将音源创建于虚拟性的位置，以犹如从该音源的位置发出音那样定位音像。但是，仅单纯地使用头部相关传输函数而使音像定位，在头部朝向的方向变化时，音源的位置会追随该方向而移动。
因此，提出了下述技术，即，应用音像传递函数，以使得通过基于加速度传感器或陀螺仪传感器(角速度传感器)等传感器的检测信号的运算而求出听者的头部所朝向的方向，即使头部朝向的方向变化，音源的位置也不会移动(例如参照专利文献1)。
专利文献1：日本特开2010－56589号公报
但是，通过基于传感器的检测信号的运算而求出的方向是将在某个定时检测出的方向作为初始值，然后作为通过积分运算等得到的相对值而进行计算。因此，发生下述现象(漂移Drift)，即，在使用传感器而求出的方向上，由噪声等引起的误差会累积。由于该漂移，使用传感器求出的方向伴随时间经过而变得不准确，因此在上述技术中存在下述课题，即，无法使音像的位置准确地定位。
发明内容
实施方式所涉及的声音处理装置包含：传感器，其输出与听者的头部的姿态相对应的检测信号；传感器信号处理部，其通过基于所述检测信号的运算而求出听者的头部所朝向的方向，输出表示该方向的方向信息；传感器输出校正部，其基于将所述方向信息平均化的平均信息，对从所述传感器信号处理部输出的方向信息进行校正；头部相关传输函数修正部，其按照校正后的方向信息对预先求出的头部相关传输函数进行修正；以及音像定位处理部，其与修正后的头部相关传输函数相应地对声音信号实施音像定位处理。
附图说明
图1是表示应用了实施方式所涉及的声音播放装置的耳机的结构的图。
图2是表示声音播放装置中的偏差值计算处理的流程图。
图3是表示声音播放装置中的音像定位处理的流程图。
图4是表示声音播放装置的使用例的图。
图5是用于对听者的头部所朝向的方向进行说明的图。
图6是用于对听者的头部所朝向的方向进行说明的图。
图7是表示由声音播放装置创建的音像的位置的图。
图8是表示由声音播放装置赋予的音像的位置的图。
标号的说明
1…耳机，3…头带，5…传感器，12…传感器信号处理部，14…传感器输出校正部，16…头部相关传输函数修正部，26…音像定位处理部，42L、42R…扬声器，142…判定部，144…计算部，146…存储部，
148…减法部。
具体实施方式
下面，参照附图对实施方式进行说明。此外，在附图中各部的尺寸及比例尺有时与实际的情况适当地不同。另外，以下记载的实施方式是本发明的优选的具体例。因此，在本实施方式中，在技术上附加了各种限定。但是，只要在下面的说明中没有特别地对本发明进行限定的主旨的记载，则本发明的范围并不限定于这些方式。
实施方式所涉及的声音处理装置在典型情况下，应用于将2个扬声器和头带组合的所谓的耳挂型的耳机。在对该耳机进行说明前，方便起见对减小由漂移引起的影响的技术的概要进行说明。
图4是表示听者L佩戴耳机1的例子的图。在耳机1的头带3设置耳机单元40L、40R及传感器5。传感器5例如为3轴的陀螺仪传感器。在耳机单元40L及40R分别设置如后面所述地将信号变换为声响的扬声器。左声道的信号变换为声响而输出至听者L的左耳，右声道的信号变换为声响而输出至听者L的右耳。
外部终端200例如是智能手机及便携游戏设备等便携型终端，通过耳机1输出成为播放的对象的声音信号。作为从如上所述的外部终端200输出的声音信号经由听者L所佩戴的耳机1进行播放的情况，例如设想到如下的情况。
首先，设想到下述情况，即，与在外部终端200显示出的视频、游戏等的影像同步的声音信号经由耳机1进行播放。可想到在该情况下，听者L注视外部终端200的画面，特别是注视对应该成为主要部的客体(出场人物、游戏角色等)进行显示的画面的中央。
另外，设想到下述情况，即，从外部终端200输出的音乐等声音信号没有影像而经由耳机1进行播放。可想到在该情况下，由于没有画面的显示，即，没有应该注视的客体，因此听者L为了集中于音乐等的聆听而持续朝向一定的方向。
即，可想到不管是哪种情况，就佩戴有耳机1的听者而言，如果在比较长的期间进行平均来看，都会大致持续朝向一定的方向。
传感器5设置于耳机1的任意位置，输出与姿态变化相对应的检测信号。听者L的头部所朝向的方向其本身如公知那样，是通过针对该检测信号实施旋转变换、坐标变换或者积分运算等运算处理而求出的。为了简化说明，通过如图6及图7所示那样的极坐标表示将传感器5设置于头带3的中央的情况下的听者L的头部所朝向的方向。
详细地说，将听者L的头部所朝向的方向的成分中的仰角设为θ(度)，将水平角设为φ(度)，表示为(θ，φ)。此外，方向A表示听者L的头部在佩戴耳机1时持续朝向的方向。将方向A设为基准的方向(0，0)。关于仰角θ的正负，例如将相对于方向A朝上设为正(+)，将朝下设为负(－)。另外，关于水平角φ的正负，例如将相对于方向A在俯视观察时逆时针设为正(+)，将顺时针设为负(－)。
如果听者L佩戴有耳机1，则头带3会随听者L的头部一起发生姿态变化，因此通过对从传感器5输出的检测信号进行运算，从而能够求出听者L的头部所朝向的方向。
在某个定时，将听者L的头部实际所朝向的方向设为(θs，φs)。另外，在将与漂移相伴的误差中的仰角的误差设为θe，将水平角的误差设为φe的情况下，通过基于传感器5的检测信号的运算而求出的方向(传感器5的检测方向)包含这些误差，因此能够表示为(θs+θe，φs+φe)。
因此，在某个定时，例如佩戴耳机1的听者L的头部实际所朝向的方向是，通过从检测方向(θs+θe，φs+φe)减去误差的方向(θe，φe)而能够求出，详细地说，通过从检测方向中的仰角的(θs+θe)减去误差的方向中的仰角(θe)，并且从检测方向的水平角(φs+φe)减去误差的水平角(φe)，从而能够求出。
如上所述，在本说明中，从某个方向减去其他方向是指，针对各成分而执行从表示某个方向的成分减去表示其他方向的同一成分。
另外，误差的方向(θe，φe)由于使听者L的头部实际所朝向的方向(θs，φs)产生偏差，因此有时称为偏差方向。
在本实施方式中，偏差方向(θe，φe)能够通过下述方式而求出。
如上所述，佩戴耳机1的听者L的头部平均地看来是持续朝向方向A。因此，在头部持续朝向方向A的情况下，将传感器5的检测方向在比较长的期间进行了平均化的情况下的方向应该成为(0，0)。
但是，在传感器5的检测方向中，包含作为误差的偏差方向(θe，φe)。由于该偏差方向，检测方向被求出为(0+θe，0+φe)。
反过来说，偏差方向(θe，φe)能够通过将传感器5的检测方向在比较长的期间进行平均化而求出。
此外，在本说明中，检测方向的平均化是指，针对在不同的时间求出的大于或等于2个检测方向，将同一成分彼此进行平均化。
在本实施方式中，检测方向是例如每隔规定的周期(例如0.5秒)而输出的。
而且，在本实施方式中，传感器5的检测方向在比较长的期间量、例如在15秒的期间进行累积，通过对在该期间累积的检测方向进行平均化，从而对偏差方向进行计算。
并且，在本实施方式中，构成为如上所述的计算每隔该期间而反复进行，对偏差方向进行更新。
另外，有时在某个定时求出的检测方向，从过去的平均方向显著地分离。在该情况下，该检测方向考虑为是由于某种原因使听者L在朝向从方向A极端地偏离的方向的状态下采样到的，或者叠加有突发性的噪声等。因此，如果将该检测方向算入下一次的平均化，则对通过该平均化进行计算的偏差方向的可靠性带来不良影响。因此，在本实施方式中，构成为关于与通过过去的平均化求出的偏差方向相比较而分离大于或等于阈值的检测方向，不用于下一次的平均化。
此外，也可以关于相对于偏差方向分离大于或等于阈值的检测方向，在平均化时乘以比其他检测方向小的系数而减小权重。
如上所述，耳机1从在某个定时求出的检测方向(θs+θe，φs+φe)减去偏差方向(θe，φe)，求出听者L的头部所朝向的方向，与该方向相应地对头部相关传输函数进行修正。
因此，下面对如上所述地修正头部相关传输函数的耳机1的具体的结构进行说明。
图1是表示耳机1的电气结构的框图。耳机1除了上述的传感器5以外，还包含传感器信号处理部12、传感器输出校正部14、头部相关传输函数修正部16、AIF 22、上混部24、音像定位处理部26、DAC 32L、32R、放大器34L、34R、扬声器42L及42R。
AIF(Audio InterFace)22是从外部终端200例如通过无线以数字方式接收信号的接口。由AIF 22接收的信号是从外部终端200输出，由耳机1进行播放的声音信号，更具体地说，是立体声中2声道的声音信号。由AIF 22接收到的声音信号供给至上混(Upmix)部24。
此外，声音信号不仅是通过人类的发声而输出的声音的信号，还包含人类能够聆听到的音的信号，并且包含对这些信号实施调制、变换等处理后的信号，可以是模拟信号，也可以是数字信号。
另外，AIF 22可以从外部终端200通过有线对声音信号进行接收，也可以通过模拟进行接收。在对模拟的声音信号进行接收的情况下，AIF 22将该声音信号变换为数字。
上混部24将2声道的声音信号变换为更多声道，例如在本实施方式中变换为5声道的声音信号。此外，5声道是指例如前左FL、前中央FC、前右FR、后左RL及后右RR。
通过上混部24将2声道变换为5声道的理由在于，通过环绕(所谓的包围)感、音源的分离感而容易进行头外定位。也可以不设置上混部24而是通过2声道进行处理，也可以如7声道、9声道这样变换为更多的声道。
传感器信号处理部12取得传感器5的检测信号，如上所述例如每隔0.5秒而运算求出听者L的头部所朝向的方向。即，传感器信号处理部12每隔0.5秒而输出传感器5的检测方向。此外，在本实施方式中，传感器信号处理部12实际上将检测方向作为将表示仰角的信息及表示水平角的信息成一组的方向信息而输出。
传感器输出校正部14包含判定部142、计算部144、存储部146和减法部148。
判定部142对从传感器信号处理部12输出的方向信息和在存储部146中存储的平均信息的差是否小于阈值进行判定。此外，在本实施方式中如上所述，方向信息及平均信息是将听者L的头部所朝向的方向通过仰角的信息及水平角的信息进行表示的。因此，方向信息及平均信息的差小于阈值，是指例如通过该方向信息表示的方向和通过平均信息表示的方向所成的角度小于相当于阈值的角度。
如果方向信息和平均信息的差小于阈值，则判定部142将该方向信息供给至计算部144，如果大于或等于阈值，则不将该方向信息供给至计算部144而是废弃。
计算部144在规定期间的15秒期间，对从判定部142供给的方向信息进行累积，将这些多组方向信息进行平均化，作为表示偏差方向的平均信息而存储于存储部146。此外，方向信息的平均化是指方向信息中的仰角彼此的平均化及水平角彼此的平均化。
减法部148从由传感器信号处理部12求出的方向信息减去在存储部146中存储的平均信息。具体地说，减法部148从方向信息的仰角减去平均信息的仰角，并且从方向信息的水平角减去平均信息的水平角。
通过该减法，将传感器5的检测方向所包含的偏差方向去除，因此由减法部148得到的相减结果高精度地表示佩戴耳机1的听者L的头部所朝向的方向。
头部相关传输函数修正部16使用校正后的方向信息而对头部相关传输函数进行修正。在这里，修正前的头部相关传输函数在听者L的头部朝向方向A的情况下，表示从音源至该听者L的头部(外耳道入口位置或者鼓膜位置)为止的传输特性。
图7是以俯视图简易地表示修正前的头部相关传输函数中的听者L和音源位置之间的关系的图。
在本实施方式中创建的音源从听者L分离等距离，分离例如3m，且与5声道一对一地对应而按照下述方式配置。详细地说，5声道中的前左FL的音源位于方向(30，0)，前中央FC的音源位于方向(0，0)，前右FR的音源位于方向(－30，0)，后左RL的音源位于方向(115，0)，及后右RR的音源位于方向(－115，0)。
此外，从如上所述的音源的位置至听者L的头部为止的头部相关传输函数，可以使用预先针对听者L而测定出的结果。另外，也可以使用将预先针对许多人物求出的平均性的头部相关传输函数中的根据个人的特征而变化的部分基于针对听者L实测出的特征进行变更而得到的特性。
接下来，对使用校正后的方向信息而修正头部相关传输函数的理由进行说明。
例如听者L从如图7所示朝向方向A的状态起，如图8所示使头部朝向以水平角旋转－θc(度)后的方向B的情况下，如果不修正头部相关传输函数，则会产生如白圆形标记示出那样音源位置追随该头部的朝向而移动的现象。该现象如果听者L没有佩戴耳机1则不会发生，因此音源位置的移动大幅地损害佩戴有耳机1时的音像定位感。
因此，头部相关传输函数修正部16与头部的朝向相应地对头部相关传输函数进行修正，以使得即使听者L的头部旋转，音源的位置也不会移动。详细地说，在听者L将头部以水平角旋转了－θc(度)的情况下，头部相关传输函数修正部16针对各音源位置，修正为变更至相对于方向B分别旋转了+θc(度)后的位置的头部相关传输函数。
此外，在这里为了简易化，对听者L的头部的朝向仅在水平方向进行旋转的情况进行了说明，但仅在仰角方向旋转的情况下、在水平方向及仰角方向旋转的情况下也是同样的。
将说明返回至图1，音像定位处理部26对通过上混部24变换后的5声道的声音信号应用通过头部相关传输函数修正部16修正后的头部相关传输函数，生成适用于耳机1的播放的2声道的立体声信号。
由音像定位处理部26生成的2声道的立体声信号中的左声道的信号，通过DAC(Digital to Analog Converter)32L变换为模拟的信号。放大器34L对通过DAC 32L变换为模拟后的信号进行放大。扬声器42L设置于耳机单元40L，将由放大器34L放大的信号变换为空气的振动即声音而输出至听者L的左耳。由音像定位处理部26生成的2声道的立体声信号中的右声道的信号，通过DAC 32R变换为模拟的信号，放大器34R对该模拟信号进行放大。扬声器42R设置于耳机单元40R，将由放大器34R放大的信号变换为空气的振动即声音而输出至听者L的右耳。
接下来，对实施方式所涉及的耳机1的动作进行说明。
与耳机1的特征有关的动作，主要可以分为以下2个处理。详细地说是偏差值计算处理及音像定位处理。其中，偏差值计算处理是在听者L佩戴着耳机1的状态下，将由传感器信号处理部12计算的检测方向(方向信息)进行平均化而作为偏差方向(平均信息)进行计算的处理。
另外，音像定位处理是将由传感器信号处理部12计算的检测方向根据偏差方向进行校正，与该朝向相应地修正头部相关传输函数而使音像定位的处理。
在本实施方式中，偏差值计算处理及音像定位处理在佩戴耳机1期间，具体地说从省略了图示的电源开关接通起反复执行。
此外，偏差值计算处理及音像定位处理也可以从由AIF 22接收到声音信号起开始，也可以以听者L的指示或者操作为契机而开始。
图2是表示偏差值计算处理的流程图。
在本实施方式中，偏差值计算处理在佩戴耳机1期间反复执行。
首先，传感器信号处理部12取得传感器5的检测信号，将表示听者L的头部所朝向的方向的方向信息每隔0.5秒进行运算而求出(步骤S31)。
接下来，传感器输出校正部14中的判定部142对方向信息和在存储部146中存储的平均信息的差是否小于阈值进行判定(步骤S32)。
此外，在电源开关接通后首先执行步骤S32的情况下，在存储部146中没有存储过去的平均信息。但是，存储部146只要作为平均信息的初始值而赋予(0，0)即可。
判定部142如果方向信息和平均信息的差小于阈值(如果步骤S32的判定结果为“Yes”)，则将该方向信息供给至计算部144，如果大于或等于阈值(如果步骤S32的判定结果为“No”)，则处理顺序返回至步骤S31。因此，平均信息的差大于或等于阈值的某些方向信息不供给至计算部144。
接下来，判定部142对由传感器信号处理部12求出的方向信息的组数是否成为与规定期间量相当的组数进行判定(步骤S33)。例如在传感器信号处理部12每隔0.5秒而求出方向信息的情况下，如果规定期间如上所述为15秒期间，则该规定期间量的方向信息的组数成为“30”，因此判定部142对检测方向的组数是否成为“30”进行判定。
如果方向信息的组数小于与规定期间量相当的组数(如果步骤S33的判别结果为“No”)，则处理顺序返回至步骤S31。
另一方面，如果方向信息的组数成为与规定期间量相当的个数(如果步骤S33的判别结果为“Yes”)，则计算部144将从判定部142供给的方向信息除以供给的组数而将该方向信息平均化，作为平均信息而存储于存储部146(步骤S34)。此外，不是除以规定期间量的组数的“30”而是除以供给的组数的理由在于，不将与平均信息的差大于或等于阈值的某些方向信息供给至计算部144。
此外，在步骤S34后，在由传感器信号处理部12求出的方向信息的组数清零(步骤省略)，处理顺序返回至步骤S31。
如上所述，根据偏差值计算处理，步骤S31～S34例如从电源开关接通起每隔0.5秒而反复执行。通过该反复，每隔规定期间对在规定期间范围将方向信息平均化的平均信息(表示偏差方向的仰角及水平角的信息)进行计算，在存储部146中进行更新。
图3是表示音像定位处理的流程图。
首先，传感器信号处理部12取得传感器5的检测信号，每隔0.5秒进行运算而求出表示听者L的头部所朝向的方向的方向信息(步骤S41)。此外，该步骤S41与偏差值计算处理的步骤S31共通。
接下来，传感器输出校正部14中的减法部148从方向信息减去平均信息(步骤S42)。即，减法部148从检测方向减去偏差方向，更详细地说，从方向信息的仰角减去平均信息的仰角，并且从方向信息的水平角减去平均信息的水平方向。该相减结果是从传感器5的检测方向去除由该传感器5的漂移引起的误差、即偏差方向而得到的，因此高精度地表示听者L的头部所朝向的方向。
头部相关传输函数修正部16按照通过减法部148得到的相减结果所表示的方向而对音源的位置进行变更，与变更后的音源位置相应地修正头部相关传输函数(步骤S43)。
音像定位处理部26对通过上混部24变换后的5声道的声音信号实施音像定位处理(步骤S44)。详细地说，音像定位处理部26在对5声道的声音信号应用由头部相关传输函数修正部16修正后的头部相关传输函数之后，再变换为2声道的声音信号。
此外，在步骤S44后，处理顺序返回至步骤S41。
如上所述，根据音像定位处理，步骤S41～S44每隔0.5秒而反复执行，与检测方向相应地适当变更音像的位置。
根据本实施方式，即使听者L的头部所朝向的方向从方向A变化为方向B，虚拟性的音源的位置也不变化，因此不会损害赋予给听者L的音像定位感。并且，根据本实施方式，听者L的头部所朝向的方向B是减少由漂移等引起的误差而高精度地求出的，因此与没有去除误差的结构相比较，能够在更准确的位置创建虚拟性的音源位置。
本发明并不限定于前述的实施方式，能够实现以下所述的各种变形。另外，也可以将各实施方式及各变形例适当组合。
在实施方式中，偏差值计算处理在佩戴耳机1的期间反复执行，但传感器5所涉及的漂移有时在经过一定程度的时间(例如30分钟)后饱和。具体地说，传感器5的温度从电源接通起上升，但如果经过了相当程度的时间，则在某个温度下大致恒定。其原因在于，由于在传感器5所涉及的漂移存在温度依赖性，因此如果传感器5的温度成为大致恒定，则关于由漂移引起的误差也成为大致恒定。
因此，关于偏差值计算处理，可以构成为在从佩戴开始起经过对应时间的时刻停止。
具体地说，在传感器输出校正部14中，可以构成为判定部142停止方向信息和平均信息的差是否小于阈值的判定，计算部144停止由判定部142判定为小于阈值的方向信息的平均化。
通过如上所述的结构，如果偏差值计算处理停止，则与其相应地能够抑制所消耗的电力。此外，在偏差值计算处理停止的情况下，从由传感器信号处理部12输出的方向信息减去在存储部146中最后存储的平均信息即可。
在实施方式中，构成为为了对表示偏差方向的平均信息进行计算，作为规定期间而将在15秒期间通过传感器信号处理部12求出的方向信息进行平均化。在佩戴耳机1而播放声音信号的情况下，如果考虑听者L不将头部的朝向极端地变更而是大致设为恒定方向这样的状况，则作为规定期间设为大于或等于10秒左右认为就足够。
根据成为播放对象的声音的种类、类别及性质等，有时也可以是无需准确地修正虚拟性的音源的位置。作为如上所述的声音的例子，例如举出单纯的会话、不以集中地聆听为目的的环境音乐等。
因此，例如可以构成为通过在外部终端200设置将偏差值计算处理和/或头部相关传输函数的修正取消的开关，与该开关的操作相应地对耳机1的动作进行控制。具体地说，构成为由接收部(省略图示)接收开关的操作状态，与该操作状态相应地禁止由传感器输出校正部14进行的偏差值计算处理的执行和/或由头部相关传输函数修正部16进行的头部相关传输函数的修正。
另外，也可以构成为基于对由AIF 22接收到的2声道的声音信号进行解析得到的结果，禁止偏差值计算处理的执行、头部相关传输函数的修正、以及音像定位处理的执行的一部分或者全部。其理由在于，在2声道的声音信号的相位及振幅对齐的程度大(大于或等于阈值)的情况下，是单声道或者接近单声道，认为音源的位置不重要。
在传感器5的检测方向相对于表示方向A的平均性的方向而极端地分离的情况下，有可能用于对头部相关传输函数进行修正的运算量变多，或者无法准确地修正头部相关传输函数。因此，可以构成为在方向信息和存储的平均信息的差大于或等于阈值的情况下，不修正头部相关传输函数。另外，在该情况下，也可以构成为将不进行修正这一主旨的警告通过耳机1或者外部终端200通知给听者L。
在实施方式中，构成为头部相关传输函数修正部16在每次求出传感器5的检测方向时对头部相关传输函数进行修正，但在佩戴着耳机1的情况下，如上所述听者L持续朝向大致恒定的方向A。因此，可以构成为如果传感器5的检测方向和该方向A(平均性的方向)的差小于阈值，则对头部相关传输函数进行修正，如果大于或等于阈值，则不对头部相关传输函数进行修正。
另外，也可以在传感器5的检测方向的时间性的变化量小的情况下降低修正频度，相反在变化量大的情况下提高修正频度。
在实施方式中，关于听者的头部所朝向的方向作为仰角及水平角而求出，但也可以进一步加入例如将头向左右倾斜时的角度而执行音像定位处理。
在实施方式中，对声音处理装置应用于耳机1的例子进行了说明，但也可以应用于如插入至听者的耳郭的入耳型、及放置于听者的耳甲艇和耳甲腔的内耳甲型等这样不存在头带的类型的耳机。
＜附记＞
根据上述的实施方式等，例如掌握如下面这样的方式。
＜方式1＞
本发明的方式1所涉及的声音处理装置包含：传感器，其输出与听者的头部的姿态相对应的检测信号；传感器信号处理部，其通过基于所述检测信号的运算而求出听者的头部所朝向的方向，输出表示该方向的方向信息；传感器输出校正部，其基于将所述方向信息平均化的平均信息，对从所述传感器信号处理部输出的方向信息进行校正；头部相关传输函数修正部，其按照校正后的方向信息对预先求出的头部相关传输函数进行修正；以及音像定位处理部，其与修正后的头部相关传输函数相应地对声音信号实施音像定位处理。
根据方式1，即使发生漂移，也能够高精度地求出听者的头部的朝向，因此能够适当地校正头部相关传输函数，使音像定位于准确的位置。
＜方式2＞
方式2所涉及的声音处理装置在方式1中，所述传感器输出校正部从由所述传感器信号处理部输出的方向信息减去所述平均信息而对该方向信息进行校正。根据方式2，通过从方向信息减去平均信息这一比较简易的结构，能够对该方向信息进行校正。
＜方式3＞
方式3所涉及的声音处理装置在方式2中，所述传感器输出校正部将从所述传感器信号处理部输出的方向信息以至少大于或等于10秒而平均化，用作所述平均信息。如果用于平均化的时间过短，则无法忽略头部所朝向的方向的微小变化，但如果设为大于或等于10秒的时间，则能够忽略该微小变化。
＜方式4＞
方式4所涉及的声音处理装置在方式2或3中，所述传感器输出校正部包含：存储部，其对所述平均信息进行存储；判定部，其对从所述传感器信号处理部输出的方向信息和在所述存储部中存储的平均信息的差是否小于阈值进行判定；以及计算部，其将由所述判定部判定为小于阈值的方向信息平均化，作为所述平均信息而存储于所述存储部。
根据方式4，在平均化时不算入听者的头部朝向从平均性的方向极端地偏离的方向的情况的方向信息、受到突发性的噪声等的影响的方向信息，因此能够提高平均信息的可靠性。
＜方式5＞
方式5所涉及的声音处理装置在方式4中，在从所述声音信号的输出开始起经过了规定时间的情况下，所述判定部停止所述方向信息和所述平均信息的差是否小于阈值的判定，所述计算部停止由所述判定部判定为小于阈值的方向信息的平均化。漂移经过了一定程度的时间而饱和的情况下，在经过该时间后，就误差而言几乎没有变化，因此无需对平均信息进行更新。如果方向信息的平均化停止，则能够相应地抑制消耗的电力。
＜方式6＞
方式6所涉及的声音处理装置在方式1至5中，由所述传感器输出校正部进行的所述方向信息的校正能够设定为有效或者无效的任意者。根据成为播放对象的声音的种类、类别及性质等，有时可以不执行音像定位处理。在该情况下，通过将校正设为无效而能够抑制被消耗的电力。
此外，有效或者无效的指示可以是听者对开关等的操作，也可以按照成为播放对象的声音信号的解析结果进行上述指示。
＜方式7至12＞
方式7至12所涉及的声音处理方法是将方式1至6的声音处理装置通过方法表现出的。
Claims (10)
1.一种声音处理装置，其包含：
传感器，其输出与听者的头部的姿态相对应的检测信号；
传感器信号处理部，其通过基于所述检测信号的运算而求出听者的头部所朝向的方向，输出表示该方向的方向信息；
传感器输出校正部，其基于将所述方向信息平均化的平均信息，对从所述传感器信号处理部输出的方向信息进行校正；
头部相关传输函数修正部，其按照校正后的方向信息对预先求出的头部相关传输函数进行修正；以及
音像定位处理部，其与修正后的头部相关传输函数相应地对声音信号实施音像定位处理，
所述传感器输出校正部包含：
存储部，其对所述平均信息进行存储；
判定部，其对从所述传感器信号处理部输出的方向信息和在所述存储部中存储的平均信息的差是否小于阈值进行判定；以及
计算部，其将由所述判定部判定为小于阈值的方向信息平均化，作为所述平均信息而存储于所述存储部，
所述传感器输出校正部从由所述传感器信号处理部输出的方向信息减去所述平均信息而对该方向信息进行校正。
2.根据权利要求1所述的声音处理装置，其中，
所述传感器输出校正部将从所述传感器信号处理部输出的方向信息以至少大于或等于10秒而平均化，用作所述平均信息。
3.根据权利要求1或2所述的声音处理装置，其中，
在从所述声音信号的输出开始起经过了规定时间的情况下，
所述判定部停止所述方向信息和所述平均信息的差是否小于阈值的判定，
所述计算部停止由所述判定部判定为小于阈值的方向信息的平均化。
4.根据权利要求1或2所述的声音处理装置，其中，
由所述传感器输出校正部进行的所述方向信息的校正能够设定为有效或者无效的任意者。
5.根据权利要求3所述的声音处理装置，其中，
由所述传感器输出校正部进行的所述方向信息的校正能够设定为有效或者无效的任意者。
6.一种声音处理方法，其通过基于从传感器对应于听者的头部的姿态而输出的检测信号的运算，求出听者的头部所朝向的方向，输出表示该方向的方向信息，
基于将所述方向信息平均化的平均信息而对所述方向信息进行校正，
按照校正后的方向信息对头部相关传输函数进行修正，
对声音信号实施与修正后的头部相关传输函数相对应的音像定位处理，
对所述方向信息和在存储部中存储的平均信息的差是否小于阈值进行判定，
将判定为小于阈值的方向信息平均化，作为所述平均信息而存储于所述存储部，
从所述方向信息减去所述平均信息，对所述方向信息进行校正。
7.根据权利要求6所述的声音处理方法，其中，
将所述方向信息以至少大于或等于10秒而平均化，用作所述平均信息。
8.根据权利要求6或7所述的声音处理方法，其中，
在从所述声音信号的输出开始起经过了规定时间的情况下，
停止所述方向信息和所述平均信息的差是否小于阈值的判定、及判定为小于阈值的方向信息的平均化。
9.根据权利要求6或7所述的声音处理方法，其中，
所述方向信息的校正能够设定为有效或者无效的任意者。
10.根据权利要求8所述的声音处理方法，其中，
所述方向信息的校正能够设定为有效或者无效的任意者。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019-119515 | 2019-06-27 | ||
| JP2019119515A JP7342451B2 (ja) | 2019-06-27 | 2019-06-27 | 音声処理装置および音声処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112148117A CN112148117A (zh) | 2020-12-29 |
| CN112148117B true CN112148117B (zh) | 2024-06-25 |
Family
ID=73891809
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010528601.5A Active CN112148117B (zh) | 2019-06-27 | 2020-06-11 | 声音处理装置及声音处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11076254B2 (zh) |
| JP (1) | JP7342451B2 (zh) |
| CN (1) | CN112148117B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6939249B2 (ja) * | 2017-08-25 | 2021-09-22 | 株式会社三洋物産 | 遊技機 |
| JP6939250B2 (ja) * | 2017-08-25 | 2021-09-22 | 株式会社三洋物産 | 遊技機 |
| JP6939252B2 (ja) * | 2017-08-25 | 2021-09-22 | 株式会社三洋物産 | 遊技機 |
| JP6939251B2 (ja) * | 2017-08-25 | 2021-09-22 | 株式会社三洋物産 | 遊技機 |
| JP7298732B2 (ja) * | 2017-08-25 | 2023-06-27 | 株式会社三洋物産 | 遊技機 |
| JP7298731B2 (ja) * | 2017-11-15 | 2023-06-27 | 株式会社三洋物産 | 遊技機 |
| JP7298730B2 (ja) * | 2017-11-15 | 2023-06-27 | 株式会社三洋物産 | 遊技機 |
| US11617050B2 (en) | 2018-04-04 | 2023-03-28 | Bose Corporation | Systems and methods for sound source virtualization |
| US11356795B2 (en) * | 2020-06-17 | 2022-06-07 | Bose Corporation | Spatialized audio relative to a peripheral device |
| US11982738B2 (en) | 2020-09-16 | 2024-05-14 | Bose Corporation | Methods and systems for determining position and orientation of a device using acoustic beacons |
| WO2023210699A1 (ja) | 2022-04-28 | 2023-11-02 | 公立大学法人秋田県立大学 | 音声生成装置、音声再生装置、音声生成方法、及び音声信号処理プログラム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012518313A (ja) * | 2009-02-13 | 2012-08-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | モバイル用途のための頭部追跡 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2671329B2 (ja) * | 1987-11-05 | 1997-10-29 | ソニー株式会社 | オーディオ再生装置 |
| JPH1098798A (ja) * | 1996-09-20 | 1998-04-14 | Murata Mfg Co Ltd | 角度計測装置およびこれを搭載したヘッドマウントディスプレイ装置 |
| JP3624805B2 (ja) * | 2000-07-21 | 2005-03-02 | ヤマハ株式会社 | 音像定位装置 |
| JP2002171460A (ja) * | 2000-11-30 | 2002-06-14 | Sony Corp | 再生装置 |
| JP3435156B2 (ja) * | 2001-07-19 | 2003-08-11 | 松下電器産業株式会社 | 音像定位装置 |
| US6961439B2 (en) * | 2001-09-26 | 2005-11-01 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for producing spatialized audio signals |
| JP2004135023A (ja) * | 2002-10-10 | 2004-04-30 | Sony Corp | 音響出力装置、音響出力システム、音響出力方法 |
| WO2005025270A1 (ja) * | 2003-09-08 | 2005-03-17 | Matsushita Electric Industrial Co., Ltd. | 音像制御装置の設計ツールおよび音像制御装置 |
| JP2008193382A (ja) * | 2007-02-05 | 2008-08-21 | Mitsubishi Electric Corp | 携帯電話機、及び音声調整方法 |
| JP4735993B2 (ja) | 2008-08-26 | 2011-07-27 | ソニー株式会社 | 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法 |
| JP4849121B2 (ja) * | 2008-12-16 | 2012-01-11 | ソニー株式会社 | 情報処理システムおよび情報処理方法 |
| CN104205880B (zh) * | 2012-03-29 | 2019-06-11 | 英特尔公司 | 基于取向的音频控制 |
| JP6292040B2 (ja) * | 2014-06-10 | 2018-03-14 | 富士通株式会社 | 音声処理装置、音源位置制御方法及び音源位置制御プログラム |
| GB2535990A (en) * | 2015-02-26 | 2016-09-07 | Univ Antwerpen | Computer program and method of determining a personalized head-related transfer function and interaural time difference function |
| US9918177B2 (en) * | 2015-12-29 | 2018-03-13 | Harman International Industries, Incorporated | Binaural headphone rendering with head tracking |
| KR102277438B1 (ko) * | 2016-10-21 | 2021-07-14 | 삼성전자주식회사 | 단말 장치들 간의 멀티미디어 통신에 있어서, 오디오 신호를 송신하고 수신된 오디오 신호를 출력하는 방법 및 이를 수행하는 단말 장치 |
| WO2021041668A1 (en) * | 2019-08-27 | 2021-03-04 | Anagnos Daniel P | Head-tracking methodology for headphones and headsets |
-
2019
- 2019-06-27 JP JP2019119515A patent/JP7342451B2/ja active Active
-
2020
- 2020-06-11 CN CN202010528601.5A patent/CN112148117B/zh active Active
- 2020-06-23 US US16/909,195 patent/US11076254B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012518313A (ja) * | 2009-02-13 | 2012-08-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | モバイル用途のための頭部追跡 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200413213A1 (en) | 2020-12-31 |
| JP7342451B2 (ja) | 2023-09-12 |
| JP2021005822A (ja) | 2021-01-14 |
| US11076254B2 (en) | 2021-07-27 |
| CN112148117A (zh) | 2020-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112148117B (zh) | 声音处理装置及声音处理方法 | |
| US10097921B2 (en) | Methods circuits devices systems and associated computer executable code for acquiring acoustic signals | |
| US10306355B2 (en) | Orientation free handsfree device | |
| EP2503800B1 (en) | Spatially constant surround sound | |
| US7272073B2 (en) | Method and device for generating information relating to the relative position of a set of at least three acoustic transducers | |
| DK1530402T4 (en) | Method of fitting a hearing aid taking into account the position of the head and a corresponding hearing aid | |
| US20110075857A1 (en) | Apparatus for estimating sound source direction from correlation between spatial transfer functions of sound signals on separate channels | |
| US10142744B2 (en) | Method for operating a hearing device and hearing device | |
| US20150181355A1 (en) | Hearing device with selectable perceived spatial positioning of sound sources | |
| JP6691776B2 (ja) | イヤホン、およびイヤホンシステム | |
| JP2005057545A (ja) | 音場制御装置及び音響システム | |
| US11477595B2 (en) | Audio processing device and audio processing method | |
| JP2550832B2 (ja) | 仮想現実感生成装置 | |
| EP3625976B1 (en) | A method for determining distance between ears of a wearer of a sound generating object and an ear-worn, sound generating object | |
| DK2887695T3 (en) | A hearing aid system with selectable perceived spatial location of audio sources | |
| US20230199425A1 (en) | Audio signal output method, audio signal output device, and audio system | |
| WO2021024747A1 (ja) | 音響出力装置、及びこれを用いた音響出力システム | |
| JP2022122038A (ja) | 肩乗せ型スピーカ、音像定位方法及び音像定位プログラム | |
| TW201928654A (zh) | 音訊信號播放裝置及對應之音訊信號處理方法 | |
| JP2024056580A (ja) | 情報処理装置及びその制御方法及びプログラム | |
| CN117440306A (zh) | 用于运行双耳听力设备系统的方法以及双耳听力设备系统 | |
| JP2000350299A (ja) | 音響信号再生装置 | |
| JP2550832C (zh) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |