JP2022131067A - 音声信号処理装置、立体音響システムおよび音声信号処理方法 - Google Patents
音声信号処理装置、立体音響システムおよび音声信号処理方法 Download PDFInfo
- Publication number
- JP2022131067A JP2022131067A JP2021029804A JP2021029804A JP2022131067A JP 2022131067 A JP2022131067 A JP 2022131067A JP 2021029804 A JP2021029804 A JP 2021029804A JP 2021029804 A JP2021029804 A JP 2021029804A JP 2022131067 A JP2022131067 A JP 2022131067A
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- unit
- signal processing
- audio output
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 86
- 230000005236 sound signal Effects 0.000 title claims abstract description 80
- 238000003672 processing method Methods 0.000 title claims description 25
- 230000006870 function Effects 0.000 claims abstract description 49
- 238000012546 transfer Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 6
- 210000000624 ear auricle Anatomy 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 22
- 238000000354 decomposition reaction Methods 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002868 homogeneous time resolved fluorescence Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Stereophonic System (AREA)
Abstract
【課題】容易に個人差を解消しつつ、音の方向感の再現性を向上させること。【解決手段】実施形態に係る音声信号処理装置は、畳み込み部を備える。畳み込み部は、ユーザの耳介の外側において少なくとも前後に独立して配置された音声出力ユニットそれぞれへ向けての音声信号に対し、音源から上記音声出力ユニットの各位置までの個別の伝達関数を用いた畳み込み処理を実行する。【選択図】図7
Description
開示の実施形態は、音声信号処理装置、立体音響システムおよび音声信号処理方法に関する。
従来、左右に1つずつ音声出力ユニットを有するヘッドホンに対する立体音響の再生処理を行う際、方向感を正しく再現するために頭部伝達関数(HRTF:Head-Related Transfer Function)による畳み込み処理を実行する信号処理技術が知られている(たとえば、特許文献1参照)。
また、HRTFは耳介の形状などに影響されるため、個人差を解消するために、共通的な特徴量を用いたり、耳介内にマイクを配置して個別に特性を測定したり、カメラで撮影した頭部や耳の画像を解析したりすることによって、最適なHRTFを推定するといった技術も知られている。
しかしながら、上述した従来技術には、容易に個人差を解消しつつ、音の方向感の再現性を向上させるうえで、更なる改善の余地がある。
たとえば、従来技術を用いた場合、画像解析やマイク測定によるHTRFの推定に高い精度が求められるため、音の方向感の再現性を向上させることは容易ではない。
実施形態の一態様は、上記に鑑みてなされたものであって、容易に個人差を解消しつつ、音の方向感の再現性を向上させることができる音声信号処理装置、立体音響システムおよび音声信号処理方法を提供することを目的とする。
実施形態の一態様に係る音声信号処理装置は、畳み込み部を備える。前記畳み込み部は、ユーザの耳介の外側において少なくとも前後に独立して配置された音声出力ユニットそれぞれへ向けての音声信号に対し、音源から前記音声出力ユニットの各位置までの個別の伝達関数を用いた畳み込み処理を実行する。
実施形態の一態様によれば、容易に個人差を解消しつつ、音の方向感の再現性を向上させることができる。
以下、添付図面を参照して、本願の開示する音声信号処理装置、立体音響システムおよび音声信号処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
まず、実施形態に係る音声信号処理方法の概要について、図1~図6を用いて説明する。図1は、実施形態に係るヘッドホン3の構成例を示す図である。また、図2は、比較例に係るHRTFによる畳み込みの説明図である。
また、図3は、実施形態に係る音声信号処理方法の概要説明図(その1)である。また、図4は、実施形態に係る音声信号処理方法の概要説明図(その2)である。また、図5は、実施形態に係る音声信号処理方法の概要説明図(その3)である。また、図6は、変形例に係るヘッドホン3Aの構成例を示す図である。
図1に示すように、実施形態に係るヘッドホン3は、ユーザの耳介の外側において前後に配置される複数の音声出力ユニット31を備える。なお、図1には、左の耳介の前方に配置される音声出力ユニット31-FL、および、後方に配置される音声出力ユニット31-RLを示しているが、右の耳介の前方には図示略の音声出力ユニット31-FRが、後方には同じく図示略の音声出力ユニット31-RRが配置される。
ここで従来、HRTFを用いた立体音響の再生処理を行う場合、図2に示すように、音源からの音声信号は、音源から、耳介および図示略の頭部ひいては肩までをも含めた音の変化が表現されたHRTFによる畳み込み処理を介して行われていた。
このため、耳介の形状などによる個人差が大きく、最適なHRTFを推定することが難しかった。また、このような個人差を解消するために、共通的な特徴量を用いたり、耳介内にマイクを配置して個別に特性を測定したり、カメラで撮影した頭部や耳の画像を解析したりすることによって、最適なHRTFを推定するといった既存技術もあるが、高い精度が求められるため、容易ではない。
そこで、実施形態に係る音声信号処理方法では、図3に示すように、ヘッドホン3に対する立体音響の再生処理を行うにあたって、HRTFではなく、音源から、各音声出力ユニット31の位置までの伝達関数を用いることとした。
具体的には、実施形態に係る音声信号処理方法では、図4に示すように、右前方の音声出力ユニット31-FRについては、かかる音声出力ユニット31-FRの位置までの右前方用の伝達関数FRを用いた音声信号処理を行う。同様に、右後方の音声出力ユニット31-RRについては、かかる音声出力ユニット31-RRの位置までの右後方用の伝達関数RRを用いた音声信号処理を行う。
同様に、左前方の音声出力ユニット31-FLについては、かかる音声出力ユニット31-FLの位置までの左前方用の伝達関数FLを用いた音声信号処理を行う。同様に、左後方の音声出力ユニット31-RLについては、かかる音声出力ユニット31-RLの位置までの左後方用の伝達関数RLを用いた音声信号処理を行う。これにより、耳介の形状などによる個人差を容易に解消することが可能となる。
そのうえで、実施形態に係る音声信号処理方法では、図5に示すように、左右の耳介を結ぶ直線Sを含む鉛直面より前方の前方音声については、前方の音声出力ユニット31-FR,31-FLから再生させる。また、同鉛直面より後方の後方音声については、後方の音声出力ユニット31-RR,31-RLから再生させる。これにより、音の方向感の再現性を向上させることが可能となる。
なお、直線Sを延ばした方向からの音声については、音声出力ユニット31-FR,31-RRおよび音声出力ユニット31-FL,31-RLからそれぞれ再生してもよい。また、このとき、音声出力ユニット31-FR,31-RRの間、または、音声出力ユニット31-FL,31-RLの間で打ち消し合う音声については、これを解消する手段を採ってもよい。
また、変形例のヘッドホン3Aとして図6に示すように、音声出力ユニット31は、前後および上下で独立するように設けられてもよい。これにより、左右前後だけでなく、上下の方向感も再現することが可能となる。
また、360度マイクで集音された音源など360度全ての方向成分を有する音源から、前後左右上下の仮想的な音源(以下、適宜「仮想音源」と言う)の信号を算出して空間モデルへ仮想音源を配置することで、各仮想音源に対する各音声出力ユニット31への音声信号を生成し、各仮想音源からの方向感を再現するようにしてもよい。
また、VR(Virtual Reality)やMR(Mixed Reality)といった仮想空間体験を含むデジタルコンテンツである3Dコンテンツの音源や前述の仮想音源がレンダリングされた空間モデルにおける各音源に対する各音声出力ユニット31への音声信号を生成し、各仮想音源からの方向感を再現するようにしてもよい。これにより、いわゆるアンビソニック音源などについても、音の方向感を再現することが可能となる。かかる点については、図7以降を用いた説明で後述する。
上述したように、実施形態に係る音声信号処理方法では、ユーザの耳介の外側において少なくとも前後に独立して配置された音声出力ユニット31それぞれへ向けての音声信号に対し、音源から音声出力ユニット31の各位置までの個別の伝達関数を用いた畳み込み処理を実行することとした。
したがって、実施形態に係る音声信号処理方法によれば、容易に個人差を解消しつつ、音の方向感の再現性を向上させることができる。以下、実施形態に係る音声信号処理方法を適用した立体音響システム1の構成例について、より具体的に説明する。
図7は、実施形態に係る立体音響システム1の構成例を示すブロック図である。なお、図7では、実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。
換言すれば、図7に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
また、図7を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。
図7に示すように、実施形態に係る立体音響システム1は、ヘッドホン3と、360度マイク5と、空間認識センサ部7と、音声信号処理装置10とを含む。
ヘッドホン3は、前述の複数の音声出力ユニット31と、慣性センサ部32とを備える。ヘッドホン3は、音声信号処理装置10に対し、有線または無線で通信可能に接続される。
音声出力ユニット31は、既に述べたように、ユーザの耳介の外側において少なくとも前後に配置される。慣性センサ部32は、加速度センサおよびジャイロセンサを含み、ヘッドホン3の移動量および回転量を検知する。
360度マイク5は、実空間の360度全方位を集音可能な全指向性マイクである。空間認識センサ部7は、たとえばカメラを含み、ヘッドホン3を装着したユーザ、音源、反射物等を含む実空間の物体を検知する。360度マイク5および空間認識センサ部7は、音声信号処理装置10に対し、有線または無線で通信可能に接続される。
音声信号処理装置10は、記憶部11と、制御部12とを備える。記憶部11は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の記憶デバイス、または、ハードディスク装置、光ディスク装置等のディスク装置などによって実現され、図7の例では、伝達関数データベース(DB)111を記憶する。
伝達関数データベース111は、音声出力ユニット31のそれぞれに対応する個別の伝達関数が格納されたデータベースである。伝達関数は、音源から各音声出力ユニット31の位置までの音波の到来を模擬するものであり、事前の実験等に基づいて予め作成される。伝達関数は、音源に対する各音声出力ユニット31の位置、および、仰角を含む姿勢に応じた音の変化の特性(周波数、方向、レベル等)を有する。
制御部12は、コントローラ(controller)であり、たとえば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、記憶部11に記憶されている図示略の各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部12は、たとえば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現することができる。
制御部12は、3D変換前処理部121と、3D変換部122と、3D分解部123と、仮想音源化部124と、空間認識部125と、オブジェクトモデル化部126と、空間モデル化部127と、畳み込み部128とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
3D変換前処理部121は、3Dコンテンツ以外の既存コンテンツの音源(マルチチャンネルトラック音源など)の音声信号を、たとえばアンビソニックスなどの3D方向成分を含むフォーマットへ変換するための前処理を実行する。
3D変換部122は、360度マイク5によって集音された音声信号、ならびに、3D変換前処理部121によって前処理された既存コンテンツの音声信号を、3D方向成分を含むフォーマットへ変換する3D変換処理を実行する。
3D分解部123は、3D変換部122によって3D方向成分を含むフォーマットへ変換された音声信号を、前後方向成分、左右方向成分、上下方向成分および無方向成分へ分解する3D分解処理を実行する。
仮想音源化部124は、3D分解部123によって分解された前後方向成分、左右方向成分、上下方向成分および無方向成分に基づいて仮想音源の音声信号を算出する仮想音源化処理を実行する。
なお、既存技術ではあるが、3D変換処理、3D分解処理および仮想音源化処理について、図8~図11を用いて具体的に説明しておく。図8は、3D変換処理および3D分解処理の説明図(その1)である。また、図9は、3D変換処理および3D分解処理の説明図(その2)である。
また、図10は、仮想音源化処理の説明図(その1)である。また、図11は、仮想音源化処理の説明図(その2)である。なお、ここでは、4つの単一指向性マイクを有する360度マイク5によって集音された音声を処理する場合を例に挙げて説明を行う。
図8に示すように、まず3D変換処理は、360度マイク5によって集音された前方左上(FLU)、前方右下(FRD)、後方右上(BRU)、後方左下(BLD)の各方向の音声の音声信号を、360度マイク5の正面方向とユーザの正面方向を一致させた空間モデルのモデルフォーマットへ変換する。
そして、3D分解処理は、3D変換処理を介した各音声信号を球調和関数によりそれぞれ双指向性の、前後方向成分X、左右方向成分Y、上下方向成分Zおよび無方向成分Wの4種類の3D方向成分に分解する。球調和関数は、図9に示す通りである。
そして、このように分解された3D方向成分に基づいて、図10に示すように、仮想音源化処理は、前述の4種類の3D方向成分以外の方向成分、たとえば前方右上(FRU)、前方左下(FLD)、後方右下(BRD)の各方向成分を有する仮想音源信号を算出する。
仮想音源信号の算出式は、図11に示す通りである。なお、式中の0.707は実効値を示す。算出された仮想音源信号に基づいては、後述する空間モデル化部127が、図10に示すように、前述の空間モデルへたとえば仮想音源Sp-FRU,Sp-FLD,Sp-BRDを配置する。
図7の説明に戻る。空間認識部125は、空間認識センサ部7の検知結果に基づいて、ヘッドホン3を装着したユーザが存在する実空間における、ユーザ、音源、反射物等を含む物体を認識する空間認識処理を実行する。
オブジェクトモデル化部126は、空間認識部125によって認識された各物体を、空間モデルにおけるオブジェクトモデルへオブジェクトモデル化するオブジェクトモデル化処理を実行する。
空間モデル化部127は、仮想音源化部124によって算出された仮想音源、3Dコンテンツに含まれる3D音源、および、オブジェクトモデル化部126によってオブジェクトモデル化された各物体を1つの空間モデルにレンダリングする空間モデル化処理を実行する。
空間モデル化処理により、空間モデルには、仮想音源を含む各音源、ユーザを含む各物体が配置されており、ユーザが装着するヘッドホン3の各音声出力ユニット31の位置および姿勢も推定可能となる。
畳み込み部128は、空間モデルから推定される各音声出力ユニット31の位置および姿勢に基づき、音声出力ユニット31のそれぞれに対応する伝達関数を伝達関数データベース111から取得し、取得した伝達関数による各音声出力ユニット31への音声信号の畳み込み処理を実行する。また、畳み込み部128は、畳み込み処理後の各音声信号を各音声出力ユニット31へ出力する。なお、伝達関数データベース111には、空間モデルにおける音源(位置)と音声出力ユニット31の位置および姿勢に紐づいた伝達関数が記憶されている。各伝達関数は前述のように予め実験・測定、シミュレーション等により求め、記憶しておくことになる。このため空間モデルにおける音源(位置)を固定化すれば伝達関数データベース111を小容量化が可能となる。
また、畳み込み部128は、慣性センサ部32の検知結果に基づいてヘッドホン3、すなわち各音声出力ユニット31の位置および姿勢の変化を検知し、かかる変化に応じて必要となる伝達関数を伝達関数データベース111から適宜取得する。
次に、実施形態に係る音声信号処理装置10が実行する処理手順について、図12を用いて説明する。図12は、実施形態に係る音声信号処理装置10が実行する処理手順を示すフローチャートである。
図12に示すように、まず、各音源については、3D変換を要するか否かが判定される(ステップS101)。360度マイク5や既存コンテンツなど3D変換を要する場合(ステップS101,Yes)、3D変換部122が、3D変換処理を実行する(ステップS102)。そして、3D分解部123が、3D分解処理を実行した後(ステップS103)、仮想音源化部124が、仮想音源信号を算出する(ステップS104)。
また、3Dコンテンツに含まれるモデル化された3D音源やアバターなどのように3D変換を要さない場合(ステップS101,No)、ステップS107へ移行する。
一方、ヘッドホン3を装着したユーザが存在する実空間の各物体については、空間認識部125が、空間認識センサ部7の検知結果に基づいてこれらを認識する(ステップS105)。そして、オブジェクトモデル化部126が、認識された各物体をオブジェクトモデル化する(ステップS106)。
そして、空間モデル化部127が、仮想音源化部124によって算出された仮想音源、3Dコンテンツに含まれる3D音源等、および、オブジェクトモデル化部126によってオブジェクトモデル化された各物体を1つの空間モデルにレンダリングする空間モデル化処理を実行する(ステップS107)。
そして、畳み込み部128が、伝達関数データベース111から、空間モデルにおいて推定される各音源に対する各音声出力ユニット31の位置および姿勢に応じた伝達関数のそれぞれを取得する(ステップS108)。そして、畳み込み部128が、各音声出力ユニット31へ出力される音声信号のそれぞれについて各伝達関数による畳み込み処理を実行し(ステップS109)、実行後の各音声信号を各音声出力ユニットへ出力する(ステップS110)。
また、畳み込み部128は、慣性センサ部32の検知結果に基づいて各音声出力ユニット31の位置および姿勢が変化したか否かを判定し(ステップS111)、位置および姿勢が変化した場合(ステップS111,Yes)、ステップS108からの処理を繰り返す。位置および姿勢が変化しなければ(ステップS111,No)、処理を終了する。
上述してきたように、実施形態に係る音声信号処理装置10は、畳み込み部128を備える。畳み込み部128は、ユーザの耳介の外側において少なくとも前後に独立して配置された音声出力ユニット31それぞれへ向けての音声信号に対し、音源から音声出力ユニット31の各位置までの個別の伝達関数を用いた畳み込み処理を実行する。
したがって、実施形態に係る音声信号処理装置10によれば、容易に個人差を解消しつつ、音の方向感の再現性を向上させることができる。
また、畳み込み部128は、耳介から前方の前方音声については、前方用の伝達関数を用いた畳み込み処理を実行して前方の音声出力ユニット31から再生させ、耳介から後方の後方音声については、後方用の伝達関数を用いた畳み込み処理を実行して後方の音声出力ユニット31から再生させる。
したがって、実施形態に係る音声信号処理装置10によれば、音の方向感の再現性を向上させることができる。
また、実施形態に係る音声信号処理装置10は、空間モデル化部127をさらに備える。空間モデル化部127は、全方向成分を有する音源から、前後左右上下の仮想的な音源の信号を算出してユーザの存在する実空間の空間モデルへ上記仮想的な音源を配置する空間モデル化処理を実行する。また、畳み込み部128は、上記仮想的な音源に対する音声出力ユニット31の各位置に応じた伝達関数を取得する。
したがって、実施形態に係る音声信号処理装置10によれば、空間モデルに対し、任意のレイアウトで音源を配置することが可能となり、音の方向感だけでなく距離感までも含めた再現性を向上させることができる。
また、空間モデル化部127は、上記実空間を認識する空間認識センサ部7の検知結果に基づいて認識された物体のオブジェクトモデルを上記空間モデルへさらに配置する。また、畳み込み部128は、上記空間モデルに配置された上記オブジェクトモデルに基づいて音声出力ユニット31の位置を推定する。
したがって、実施形態に係る音声信号処理装置10によれば、ヘッドホン3を装着したユーザ、音源、反射物等を含む実空間の物体を空間モデルにレンダリングできるとともに、これに応じて容易に音声出力ユニット31の位置を推定することが可能となる。また、かかる位置に応じた伝達関数を用いることにより、音の方向感の再現性を向上させることができる。
また、空間モデル化部127は、仮想空間体験を含むデジタルコンテンツである3Dコンテンツに含まれる音源を上記空間モデルへさらに配置する。
したがって、実施形態に係る音声信号処理装置10によれば、VRコンテンツやARコンテンツの体験時における音の方向感の再現性を向上させることができる。
また、畳み込み部128は、音声出力ユニット31の移動量および回転量に基づいて音声出力ユニット31の位置および姿勢の変化を検知し、かかる変化に応じた伝達関数を取得する。
したがって、実施形態に係る音声信号処理装置10によれば、音声出力ユニット31の位置および姿勢の変化に応じた伝達関数による畳み込み処理を実行することができるので、音の方向感の再現性を向上させることができる。
また、実施形態に係る音声信号処理方法は、ユーザの耳介の外側において少なくとも前後に独立して配置された音声出力ユニット31それぞれへ向けての音声信号に対し、音源から音声出力ユニット31の各位置までの個別の伝達関数を用いた畳み込み処理を実行する。
したがって、実施形態に係る音声信号処理方法によれば、容易に個人差を解消しつつ、音の方向感の再現性を向上させることができる。
また、実施形態に係る音声信号処理方法は、独立して配置された音声出力ユニット31に出力する音声信号に立体音響処理をする音声信号処理方法であって、実空間の音源を空間モデルへ仮想的な仮想音源として配置する空間モデル化処理を行い、上記仮想音源から音声出力ユニット31の各位置までの個別の伝達関数を用いた畳み込み処理を実行する。
したがって、実施形態に係る音声信号処理方法によれば、空間モデルに対し、任意のレイアウトで音源を配置することが可能となり、容易に個人差を解消しつつ、音の方向感だけでなく距離感までも含めた再現性を向上させることができる。
なお、上述した実施形態では、音声出力ユニット31と、慣性センサ部32とを備えるヘッドホン3を例に挙げたが、ヘッドホン3は、たとえばユーザが3Dコンテンツの提供を受ける際に用いられるHMD(Head Mounted Display)と一体であってもよい。また、かかる場合、慣性センサ部32は、ヘッドホン3ではなく、HMDの本体部が備えることとしてもよい。
また、上述した実施形態では、空間認識センサ部7と慣性センサ部32とをそれぞれ独立した構成要素としたが、慣性センサ部32は空間認識センサ部7に含まれてもよい。また、かかる場合、空間認識センサ部7は前述のHMDが備えることとしてもよい。
また、上述した実施形態では、音声信号処理装置10が伝達関数データベース111を有し、畳み込み部128が伝達関数データベース111から伝達関数を取得することとしたが、この限りではなく、たとえばクラウド化されたデータベースサーバといった他の装置から取得するようにしてもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
1 立体音響システム
3,3A ヘッドホン
7 空間認識センサ部
10 音声信号処理装置
11 記憶部
12 制御部
31 音声出力ユニット
31-FL 音声出力ユニット
31-FR 音声出力ユニット
31-RL 音声出力ユニット
31-RR 音声出力ユニット
32 慣性センサ部
111 伝達関数データベース
121 3D変換前処理部
122 3D変換部
123 3D分解部
124 仮想音源化部
125 空間認識部
126 オブジェクトモデル化部
127 空間モデル化部
128 畳み込み部
FL,FR,BL,BR 伝達関数
3,3A ヘッドホン
7 空間認識センサ部
10 音声信号処理装置
11 記憶部
12 制御部
31 音声出力ユニット
31-FL 音声出力ユニット
31-FR 音声出力ユニット
31-RL 音声出力ユニット
31-RR 音声出力ユニット
32 慣性センサ部
111 伝達関数データベース
121 3D変換前処理部
122 3D変換部
123 3D分解部
124 仮想音源化部
125 空間認識部
126 オブジェクトモデル化部
127 空間モデル化部
128 畳み込み部
FL,FR,BL,BR 伝達関数
Claims (9)
- ユーザの耳介の外側において少なくとも前後に独立して配置された音声出力ユニットそれぞれへ向けての音声信号に対し、音源から前記音声出力ユニットの各位置までの個別の伝達関数を用いた畳み込み処理を実行する畳み込み部
を備えることを特徴とする音声信号処理装置。 - 前記畳み込み部は、
前記耳介から前方の前方音声については、前方用の前記伝達関数を用いた畳み込み処理を実行して前方の前記音声出力ユニットから再生させ、前記耳介から後方の後方音声については、後方用の前記伝達関数を用いた畳み込み処理を実行して後方の前記音声出力ユニットから再生させる
ことを特徴とする請求項1に記載の音声信号処理装置。 - 全方向成分を有する音源から、前後左右上下の仮想的な音源の信号を算出してユーザの存在する実空間の空間モデルへ前記仮想的な音源を配置する空間モデル化処理を実行する空間モデル化部
をさらに備え、
前記畳み込み部は、
前記仮想的な音源に対する前記音声出力ユニットの各位置に応じた前記伝達関数を取得する
ことを特徴とする請求項1または2に記載の音声信号処理装置。 - 前記空間モデル化部は、
前記実空間を認識する空間認識センサ部の検知結果に基づいて認識された物体のオブジェクトモデルを前記空間モデルへさらに配置し、
前記畳み込み部は、
前記空間モデルに配置された前記オブジェクトモデルに基づいて前記音声出力ユニットの位置を推定する
ことを特徴とする請求項3に記載の音声信号処理装置。 - 前記空間モデル化部は、
仮想空間体験を含むデジタルコンテンツである3Dコンテンツに含まれる音源を前記空間モデルへさらに配置する
ことを特徴とする請求項3または4に記載の音声信号処理装置。 - 前記畳み込み部は、
前記音声出力ユニットの移動量および回転量に基づいて前記音声出力ユニットの位置および姿勢の変化を検知し、該変化に応じた前記伝達関数を取得する
ことを特徴とする請求項1~5のいずれか一つに記載の音声信号処理装置。 - ヘッドホンと、音声信号処理装置とを備える立体音響システムであって、
前記ヘッドホンは、
ユーザの耳介の外側において少なくとも前後に独立して配置された音声出力ユニット
を備え、
前記音声信号処理装置は、
前記音声出力ユニットそれぞれへ向けての音声信号に対し、音源から前記音声出力ユニットの各位置までの個別の伝達関数を用いた畳み込み処理を実行する畳み込み部
を備えることを特徴とする立体音響システム。 - ユーザの耳介の外側において少なくとも前後に独立して配置された音声出力ユニットそれぞれへ向けての音声信号に対し、音源から前記音声出力ユニットの各位置までの個別の伝達関数を用いた畳み込み処理を実行する
ことを特徴とする音声信号処理方法。 - 独立して配置された音声出力ユニットに出力する音声信号に立体音響処理をする音声信号処理方法であって、
実空間の音源を空間モデルへ仮想的な仮想音源として配置する空間モデル化処理を行い、
前記仮想音源から前記音声出力ユニットの各位置までの個別の伝達関数を用いた畳み込み処理を実行する
ことを特徴とする音声信号処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021029804A JP2022131067A (ja) | 2021-02-26 | 2021-02-26 | 音声信号処理装置、立体音響システムおよび音声信号処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021029804A JP2022131067A (ja) | 2021-02-26 | 2021-02-26 | 音声信号処理装置、立体音響システムおよび音声信号処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022131067A true JP2022131067A (ja) | 2022-09-07 |
Family
ID=83153171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021029804A Pending JP2022131067A (ja) | 2021-02-26 | 2021-02-26 | 音声信号処理装置、立体音響システムおよび音声信号処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022131067A (ja) |
-
2021
- 2021-02-26 JP JP2021029804A patent/JP2022131067A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10939225B2 (en) | Calibrating listening devices | |
US11770671B2 (en) | Spatial audio for interactive audio environments | |
CN109906616B (zh) | 用于确定一或多个音频源的一或多个音频表示的方法、系统和设备 | |
US10425762B1 (en) | Head-related impulse responses for area sound sources located in the near field | |
CN113889125B (zh) | 音频生成方法、装置、计算机设备和存储介质 | |
KR100606734B1 (ko) | 삼차원 입체음향 구현 방법 및 그 장치 | |
KR101678305B1 (ko) | 텔레프레즌스를 위한 하이브리드형 3d 마이크로폰 어레이 시스템 및 동작 방법 | |
JP4866301B2 (ja) | 頭部伝達関数補間装置 | |
JP2022131067A (ja) | 音声信号処理装置、立体音響システムおよび音声信号処理方法 | |
Vennerød | Binaural reproduction of higher order ambisonics-a real-time implementation and perceptual improvements | |
CN116193350A (zh) | 音频信号的处理方法、装置、设备和存储介质 | |
JP2018152834A (ja) | 仮想聴覚環境において音声信号出力を制御する方法及び装置 | |
WO2024047721A1 (ja) | 疑似アンビソニックス信号生成装置、疑似アンビソニックス信号生成方法、音響イベント提示システム、及びプログラム | |
JP5346187B2 (ja) | 頭部音響伝達関数補間装置、そのプログラムおよび方法 | |
EP4325888A1 (en) | Information processing method, program, and information processing system | |
CN115586492A (zh) | 一种ar眼镜及其声源虚拟重定位方法和装置 | |
JP2024056580A (ja) | 情報処理装置及びその制御方法及びプログラム | |
Salvador et al. | Enhancing the binaural synthesis from spherical microphone array recordings by using virtual microphones |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240717 |