JP2023165864A - 音声処理装置および方法、並びにプログラム - Google Patents
音声処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2023165864A JP2023165864A JP2023163452A JP2023163452A JP2023165864A JP 2023165864 A JP2023165864 A JP 2023165864A JP 2023163452 A JP2023163452 A JP 2023163452A JP 2023163452 A JP2023163452 A JP 2023163452A JP 2023165864 A JP2023165864 A JP 2023165864A
- Authority
- JP
- Japan
- Prior art keywords
- position information
- listening position
- sound source
- sound
- listening
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims description 41
- 238000012937 correction Methods 0.000 claims abstract description 79
- 230000008569 process Effects 0.000 claims description 30
- 238000003672 processing method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 15
- 239000013598 vector Substances 0.000 description 17
- 230000004807 localization Effects 0.000 description 9
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 241001442234 Cosa Species 0.000 description 1
- 244000089409 Erythrina poeppigiana Species 0.000 description 1
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Otolaryngology (AREA)
- Health & Medical Sciences (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereo-Broadcasting Methods (AREA)
- Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
Abstract
【課題】より自由度の高いオーディオ再生を実現することができるようにする。
【解決手段】入力部は、音源であるオブジェクトの音声の想定聴取位置の入力を受け付けて、想定聴取位置を示す想定聴取位置情報を出力する。位置情報補正部は、想定聴取位置情報に基づいて、各オブジェクトの位置情報を補正して補正位置情報とする。ゲイン/周波数特性補正部は、位置情報と補正位置情報に基づいて、オブジェクトの波形信号のゲイン補正と周波数特性補正を行う。さらに、空間音響特性付加部は、オブジェクトの位置情報および想定聴取位置情報に基づいて、ゲイン補正および周波数特性補正が施された波形信号に空間音響特性を付加する。本技術は、音声処理装置に適用することができる。
【選択図】図1
【解決手段】入力部は、音源であるオブジェクトの音声の想定聴取位置の入力を受け付けて、想定聴取位置を示す想定聴取位置情報を出力する。位置情報補正部は、想定聴取位置情報に基づいて、各オブジェクトの位置情報を補正して補正位置情報とする。ゲイン/周波数特性補正部は、位置情報と補正位置情報に基づいて、オブジェクトの波形信号のゲイン補正と周波数特性補正を行う。さらに、空間音響特性付加部は、オブジェクトの位置情報および想定聴取位置情報に基づいて、ゲイン補正および周波数特性補正が施された波形信号に空間音響特性を付加する。本技術は、音声処理装置に適用することができる。
【選択図】図1
Description
本技術は音声処理装置および方法、並びにプログラムに関し、特に、より自由度の高いオーディオ再生を実現することができるようにした音声処理装置および方法、並びにプログラムに関する。
一般的にCD(Compact Disc)やDVD(Digital Versatile Disc)、ネットワーク配信オーディオなどのオーディオコンテンツは、チャンネルベースオーディオで実現されている。
チャンネルベースオーディオのコンテンツは、コンテンツの制作者が歌声や楽器の演奏音など、複数ある音源を2チャンネルや5.1チャンネル(以下、チャンネルをchとも記すこととする)に適度にミックスしたものである。ユーザは、それを2chや5.1chのスピーカシステムで再生したり、ヘッドフォンで再生したりしている。
しかしながら、ユーザのスピーカ配置などは千差万別であり、必ずしもコンテンツ制作者が意図した音の定位が再現されているとは限らない。
一方、近年オブジェクトベースのオーディオ技術が注目されている。オブジェクトベースオーディオでは、オブジェクトの音声の波形信号と、基準となる聴取点からの相対位置により示されるオブジェクトの定位情報等を示すメタデータとに基づいて、再生するシステムにあわせてレンダリングされた信号が再生される。したがってオブジェクトベースオーディオには、比較的、コンテンツ制作者の意図通りに音の定位が再現されるという特長がある。
例えばオブジェクトベースオーディオでは、VBAP(Vector Base Amplitude Pannning)などの技術が利用されて、各オブジェクトの波形信号から、再生側の各スピーカに対応するチャンネルの再生信号が生成される(例えば、非特許文献1参照)。
VBAPでは、目標となる音像の定位位置が、その定位位置の周囲にある2つまたは3つのスピーカの方向を向くベクトルの線形和で表現される。そして、その線形和において各ベクトルに乗算されている係数が、各スピーカから出力される波形信号のゲインとして用いられてゲイン調整が行なわれ、目標となる位置に音像が定位するようになされる。
Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol.45, no.6, pp.456-466, 1997
ところで、上述したチャンネルベースオーディオやオブジェクトベースオーディオでは、何れの場合においても音の定位はコンテンツ制作者によって決定されており、ユーザは提供されたコンテンツの音声をそのまま聴くことしかできない。例えば、コンテンツの再生側においては、ライブハウスで後席から前席に移動するように想定して聴取点を変化させた場合の音の聴こえ方を再現することなどができなかった。
このように上述した技術では、十分に高い自由度でオーディオ再生が実現できているとはいえなかった。
本技術は、このような状況に鑑みてなされたものであり、より自由度の高いオーディオ再生を実現することができるようにするものである。
本技術の一側面の音声処理装置は、音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出する位置情報補正部と、前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を3次元VBAPを用いて生成する生成部と、前記生成部により生成された3以上の前記再生信号にBRIRを用いた畳み込み処理を行って、前記3以上の前記再生信号を2チャンネルの信号に変換する処理部とを備え、前記2チャンネルの信号の出力先はヘッドフォンである。
本技術の一側面の音声処理方法またはプログラムは、音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を3次元VBAPを用いて生成し、生成された3以上の前記再生信号にBRIRを用いた畳み込み処理を行って、前記3以上の前記再生信号を2チャンネルの信号に変換するステップを含み、前記2チャンネルの信号の出力先はヘッドフォンである。
本技術の一側面においては、音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報が算出され、前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号が3次元VBAPが用いられて生成され、生成された3以上の前記再生信号にBRIRを用いた畳み込み処理が行われて、前記3以上の前記再生信号が2チャンネルの信号に変換される。また、前記2チャンネルの信号の出力先はヘッドフォンとされる。
本技術の一側面によれば、より自由度の高いオーディオ再生を実現することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
〈音声処理装置の構成例〉
本技術は、再生側において、音源であるオブジェクトの音声の波形信号から、任意の聴取位置で聴取される音声を再現する技術に関するものである。
〈音声処理装置の構成例〉
本技術は、再生側において、音源であるオブジェクトの音声の波形信号から、任意の聴取位置で聴取される音声を再現する技術に関するものである。
図1は、本技術を適用した音声処理装置の一実施の形態の構成例を示す図である。
音声処理装置11は、入力部21、位置情報補正部22、ゲイン/周波数特性補正部23、空間音響特性付加部24、レンダラ処理部25、および畳み込み処理部26を有している。
この音声処理装置11には、再生対象となるコンテンツのオーディオ情報として、複数の各オブジェクトの波形信号と、それらの波形信号のメタデータとが供給される。
ここで、オブジェクトの波形信号は、音源であるオブジェクトから発せられる音声を再生するためのオーディオ信号である。
また、ここではオブジェクトの波形信号のメタデータは、オブジェクトの位置、すなわちオブジェクトの音声の定位位置を示す位置情報とされる。この位置情報は、所定の基準点を標準聴取位置として、その標準聴取位置からのオブジェクトの相対位置を示す情報である。
オブジェクトの位置情報は、例えば球座標、すなわち標準聴取位置を中心とした球面上の位置に対する方位角、仰角、および半径で表されるようにしてもよいし、標準聴取位置を原点とする直交座標系の座標で表されるようにしてもよい。
以下では、各オブジェクトの位置情報が球座標で表される場合を例として説明する。具体的には、n番目(但し、n=1,2,3,…)のオブジェクトOBnの位置情報が、標準聴取位置を中心とした球面上のオブジェクトOBnに対する方位角An、仰角En、および半径Rnで表されるものとする。なお、方位角Anおよび仰角Enの単位は例えば度とされ、半径Rnの単位は例えばメートルとされる。
また、以下ではオブジェクトOBnの位置情報を(An,En,Rn)とも記すこととする。さらに、n番目のオブジェクトOBnの波形信号をWn[t]とも記すこととする。
したがって、例えば1番目のオブジェクトOB1の波形信号および位置情報は、W1[t]および(A1,E1,R1)と表され、2番目のオブジェクトOB2の波形信号および位置情報は、W2[t]および(A2,E2,R2)と表される。以下では、説明を簡単にするため、音声処理装置11には、2つのオブジェクトOB1およびオブジェクトOB2についての波形信号と位置情報が供給されるものとして説明を続ける。
入力部21はマウスやボタン、タッチパネルなどからなり、ユーザにより操作されると、その操作に応じた信号を出力する。例えば入力部21は、ユーザによる想定聴取位置の入力を受け付け、ユーザにより入力された想定聴取位置を示す想定聴取位置情報を位置情報補正部22および空間音響特性付加部24に供給する。
ここで、想定聴取位置は、再現したい仮想の音場における、コンテンツを構成する音声の聴取位置である。したがって、想定聴取位置は、予め定められた標準聴取位置を変更(補正)したときの変更後の位置を示しているということができる。
位置情報補正部22は、入力部21から供給された想定聴取位置情報に基づいて、外部から供給された各オブジェクトの位置情報を補正し、その結果得られた補正位置情報をゲイン/周波数特性補正部23およびレンダラ処理部25に供給する。補正位置情報は、想定聴取位置からみたオブジェクトの位置、つまりオブジェクトの音声の定位位置を示す情報である。
ゲイン/周波数特性補正部23は、位置情報補正部22から供給された補正位置情報と、外部から供給された位置情報とに基づいて、外部から供給されたオブジェクトの波形信号のゲイン補正および周波数特性補正を行い、その結果得られた波形信号を空間音響特性付加部24に供給する。
空間音響特性付加部24は、入力部21から供給された想定聴取位置情報と、外部から供給されたオブジェクトの位置情報とに基づいて、ゲイン/周波数特性補正部23から供給された波形信号に空間音響特性を付加し、レンダラ処理部25に供給する。
レンダラ処理部25は、位置情報補正部22から供給された補正位置情報に基づいて、空間音響特性付加部24から供給された波形信号に対するマッピング処理を行い、2以上であるM個のチャンネルの再生信号を生成する。すなわち、各オブジェクトの波形信号から、Mチャンネルの再生信号が生成される。レンダラ処理部25は、生成されたMチャンネルの再生信号を畳み込み処理部26に供給する。
このようにして得られたMチャンネルの再生信号は、仮想的なM個のスピーカ(Mチャンネルのスピーカ)で再生することで、再現したい仮想の音場の想定聴取位置において聴取される、各オブジェクトから出力された音声を再現するオーディオ信号である。
畳み込み処理部26は、レンダラ処理部25から供給されたMチャンネルの再生信号に対する畳み込み処理を行い、2チャンネルの再生信号を生成して出力する。すなわち、この例ではコンテンツの再生側のスピーカは2つとされており、畳み込み処理部26では、それらのスピーカで再生される再生信号が生成され、出力される。
〈再生信号の生成について〉
次に、図1に示した音声処理装置11によって生成される再生信号について、より詳細に説明する。
次に、図1に示した音声処理装置11によって生成される再生信号について、より詳細に説明する。
上述したように、ここでは音声処理装置11に2つのオブジェクトOB1およびオブジェクトOB2についての波形信号と位置情報が供給される例について説明する。
コンテンツを再生しようとする場合、ユーザは入力部21を操作して、レンダリング時に各オブジェクトの音声の定位の基準点となる想定聴取位置を入力する。
ここでは想定聴取位置として、標準聴取位置からの左右方向の移動距離Xおよび前後方向の移動距離Yが入力されることとし、想定聴取位置情報を(X,Y)と表すこととする。なお、移動距離Xおよび移動距離Yの単位は例えばメートルなどとされる。
具体的には標準聴取位置を原点Oとし、水平方向をx軸方向およびy軸方向とし、高さ方向をz軸方向とするxyz座標系における、標準聴取位置から想定聴取位置までのx軸方向の距離Xと、標準聴取位置から想定聴取位置までのy軸方向の距離Yとがユーザにより入力される。そして、入力された距離Xおよび距離Yにより示される標準聴取位置からの相対的な位置を示す情報が、想定聴取位置情報(X,Y)とされる。なお、xyz座標系は直交座標系である。
また、ここでは説明を簡単にするため、想定聴取位置がxy平面上にある場合を例として説明するが、ユーザが想定聴取位置のz軸方向の高さを指定することができるようにしてもよい。そのような場合、ユーザにより標準聴取位置から想定聴取位置までのx軸方向の距離X、y軸方向の距離Y、およびz軸方向の距離Zが指定され、想定聴取位置情報(X,Y,Z)とされる。また、以上においてはユーザにより想定聴取位置が入力されると説明したが、想定聴取位置情報が外部から取得されるようにしてもよいし、予めユーザ等により設定されているようにしてもよい。
このようにして想定聴取位置情報(X,Y)が得られると、次に位置情報補正部22において、想定聴取位置を基準とする各オブジェクトの位置を示す補正位置情報が算出される。
例えば図2に示すように、所定のオブジェクトOB11について波形信号と位置情報が供給され、ユーザにより想定聴取位置LP11が指定されたとする。なお、図2において、図中、横方向、奥行き方向、および縦方向は、それぞれx軸方向、y軸方向、およびz軸方向を示している。
この例では、xyz座標系の原点Oが標準聴取位置とされている。ここで、オブジェクトOB11がn番目のオブジェクトであるとすると、標準聴取位置からみたオブジェクトOB11の位置を示す位置情報は(An,En,Rn)とされる。
すなわち、位置情報(An,En,Rn)の方位角Anは、原点OおよびオブジェクトOB11を結ぶ直線と、y軸とがxy平面上においてなす角度を示している。また、位置情報(An,En,Rn)の仰角Enは、原点OおよびオブジェクトOB11を結ぶ直線と、xy平面とのなす角度を示しており、位置情報(An,En,Rn)の半径Rnは、原点OからオブジェクトOB11までの距離を示している。
いま、想定聴取位置LP11を示す想定聴取位置情報として、原点Oから想定聴取位置LP11までのx軸方向の距離Xとy軸方向の距離Yとが入力されたとする。
そのような場合、位置情報補正部22は想定聴取位置情報(X,Y)と、位置情報(An,En,Rn)とに基づいて、想定聴取位置LP11からみたオブジェクトOB11の位置、つまり想定聴取位置LP11を基準とするオブジェクトOB11の位置を示す補正位置情報(An’,En’,Rn’)を算出する。
なお、補正位置情報(An’,En’,Rn’)におけるAn’、En’、およびRn’は、それぞれ位置情報(An,En,Rn)のAn、En、およびRnに対応する方位角、仰角、および半径を示している。
具体的には、例えば1番目のオブジェクトOB1については、位置情報補正部22は、そのオブジェクトOB1の位置情報(A1,E1,R1)と、想定聴取位置情報(X,Y)とに基づいて、次式(1)乃至式(3)を計算して補正位置情報(A1’,E1’,R1’)を算出する。
すなわち、式(1)により方位角A1’が算出され、式(2)により仰角E1’が算出され、式(3)により半径R1’が算出される。
同様に、位置情報補正部22は2番目のオブジェクトOB2について、そのオブジェクトOB2の位置情報(A2,E2,R2)と、想定聴取位置情報(X,Y)とに基づいて、次式(4)乃至式(6)を計算して補正位置情報(A2’,E2’,R2’)を算出する。
すなわち、式(4)により方位角A2’が算出され、式(5)により仰角E2’が算出され、式(6)により半径R2’が算出される。
続いて、ゲイン/周波数特性補正部23では、想定聴取位置に対する各オブジェクトの位置を示す補正位置情報と、標準聴取位置に対する各オブジェクトの位置を示す位置情報とに基づいて、オブジェクトの波形信号のゲイン補正や周波数特性補正が行われる。
例えばゲイン/周波数特性補正部23は、オブジェクトOB1とオブジェクトOB2について、補正位置情報の半径R1’および半径R2’と、位置情報の半径R1および半径R2とを用いて次式(7)および式(8)を計算し、各オブジェクトのゲイン補正量G1およびゲイン補正量G2を決定する。
すなわち、式(7)によりオブジェクトOB1の波形信号W1[t]のゲイン補正量G1が求められ、式(8)によりオブジェクトOB2の波形信号W2[t]のゲイン補正量G2が求められる。この例では、補正位置情報により示される半径と、位置情報により示される半径との比がゲイン補正量とされており、このゲイン補正量によりオブジェクトから想定聴取位置までの距離に応じた音量補正が行われる。
さらにゲイン/周波数特性補正部23は、次式(9)および式(10)を計算することにより、各オブジェクトの波形信号に対して、補正位置情報により示される半径に応じた周波数特性補正と、ゲイン補正量によるゲイン補正を施す。
すなわち、式(9)の計算により、オブジェクトOB1の波形信号W1[t]に対する周波数特性補正とゲイン補正が行われ、波形信号W1’[t]が得られる。同様に、式(10)の計算により、オブジェクトOB2の波形信号W2[t]に対する周波数特性補正とゲイン補正が行われ、波形信号W2’[t]が得られる。この例では、フィルタ処理によって、波形信号に対する周波数特性の補正が実現されている。
なお、式(9)および式(10)において、hl(但し、l=0,1,…,L)は、フィルタ処理のために各時刻の波形信号Wn[t-l](但し、n=1,2)に乗算される係数を示している。
ここで、例えばL=2とし、各係数h0、h1、およびh2を次式(11)乃至式(13)に示すものとすれば、オブジェクトから想定聴取位置までの距離に応じて、再現したい仮想の音場(仮想的なオーディオ再生空間)の壁や天井によって、オブジェクトからの音声の高域成分が減衰する特性を再現することができる。
なお、式(12)において、RnはオブジェクトOBn(但し、n=1,2)の位置情報(An,En,Rn)により示される半径Rnを示しており、Rn’はオブジェクトOBn(但し、n=1,2)の補正位置情報(An’,En’,Rn’)により示される半径Rn’を示している。
このように式(11)乃至式(13)に示される係数を用いて式(9)や式(10)の計算を行うことで、図3に示す周波数特性のフィルタ処理が行われることになる。なお、図3において、横軸は正規化周波数を示しており、縦軸は振幅、すなわち波形信号の減衰量を示している。
図3では、直線C11はRn’≦Rnである場合の周波数特性を示している。この場合、オブジェクトから想定聴取位置までの距離は、オブジェクトから標準聴取位置までの距離以下である。つまり、標準聴取位置よりも想定聴取位置の方がオブジェクトにより近い位置にあるか、または標準聴取位置と想定聴取位置がオブジェクトから同じ距離の位置にある。したがって、このような場合には、波形信号の各周波数成分は特に減衰されない。
また、曲線C12はRn’=Rn+5である場合の周波数特性を示している。この場合、標準聴取位置よりも想定聴取位置の方が、オブジェクトからわずかに離れた位置にあるので、波形信号の高域成分がわずかに減衰する。
さらに、曲線C13はRn’≧Rn+10である場合の周波数特性を示している。この場合、標準聴取位置と比べて想定聴取位置の方が、オブジェクトから大きく離れた位置にあるので、波形信号の高域成分が大幅に減衰する。
このようにオブジェクトから想定聴取位置までの距離に応じてゲイン補正と周波数特性補正を行い、オブジェクトの波形信号の高域成分を減衰させることで、ユーザの聴取位置の変更に伴う周波数特性や音量の変化を再現することができる。
ゲイン/周波数特性補正部23においてゲイン補正と周波数特性補正が行われて、各オブジェクトの波形信号Wn’[t]が得られると、さらに空間音響特性付加部24において、波形信号Wn’[t]に対して空間音響特性が付加される。例えば空間音響特性として、初期反射や残響特性などが波形信号に付加される。
具体的には、波形信号に対して初期反射と残響特性を付加する場合、マルチタップディレイ処理、コムフィルタ処理、およびオールパスフィルタ処理を組み合わせることで、それらの初期反射と残響特性の付加を実現することができる。
すなわち、空間音響特性付加部24は、オブジェクトの位置情報と想定聴取位置情報とから定まる遅延量およびゲイン量に基づいて、波形信号に対するマルチタップディレイ処理を施し、その結果得られた信号をもとの波形信号に加算することで、波形信号に初期反射を付加する。
また、空間音響特性付加部24は、オブジェクトの位置情報と想定聴取位置情報とから定まる遅延量およびゲイン量に基づいて、波形信号に対するコムフィルタ処理を施す。そして、さらに空間音響特性付加部24は、コムフィルタ処理された波形信号に対して、オブジェクトの位置情報と想定聴取位置情報とから定まる遅延量およびゲイン量に基づいてオールパスフィルタ処理を施すことで、残響特性を付加するための信号を得る。
最後に、空間音響特性付加部24は初期反射が付加された波形信号と、残響特性を付加するための信号とを加算することで、初期反射と残響特性が付加された波形信号を得て、レンダラ処理部25に出力する。
このように、オブジェクトの位置情報と想定聴取位置情報に対して定まるパラメータを用いて、波形信号に空間音響特性を付加することで、ユーザの聴取位置の変更に伴う空間音響の変化を再現することができる。
なお、これらのマルチタップディレイ処理や、コムフィルタ処理、オールパスフィルタ処理などで用いられる、遅延量やゲイン量などのパラメータは、予めオブジェクトの位置情報と想定聴取位置情報の組み合わせごとにテーブルで保持されているようにしてもよい。
そのような場合、例えば空間音響特性付加部24は、各想定聴取位置について、位置情報により示される位置ごとに遅延量等のパラメータセットが対応付けられているテーブルを予め保持している。そして、空間音響特性付加部24は、オブジェクトの位置情報と想定聴取位置情報とから定まるパラメータセットをテーブルから読み出し、それらのパラメータを用いて波形信号に空間音響特性を付加する。
なお、空間音響特性の付加に用いるパラメータセットは、テーブルとして保持されるようにしてもよいし、関数などで保持されるようにしてもよい。例えば関数によりパラメータが求められる場合、空間音響特性付加部24は、予め保持している関数に位置情報と想定聴取位置情報を代入し、空間音響特性の付加に用いる各パラメータを算出する。
以上のようにして各オブジェクトについて、空間音響特性が付加された波形信号が得られると、レンダラ処理部25において、それらの波形信号に対するM個の各チャンネルへのマッピング処理が行われ、Mチャンネルの再生信号が生成される。つまりレンダリングが行われる。
具体的には、例えばレンダラ処理部25はオブジェクトごとに、補正位置情報に基づいて、VBAPによりM個の各チャンネルについてオブジェクトの波形信号のゲイン量を求める。そして、レンダラ処理部25は、チャンネルごとに、VBAPで求めたゲイン量が乗算された各オブジェクトの波形信号を加算する処理を行うことで、各チャンネルの再生信号を生成する。
ここで、図4を参照してVBAPについて説明する。
例えば図4に示すように、ユーザU11が3つのスピーカSP1乃至スピーカSP3から出力される3チャンネルの音声を聴いているとする。この例では、ユーザU11の頭部の位置が想定聴取位置に相当する位置LP21となる。
また、スピーカSP1乃至スピーカSP3により囲まれる球面上の三角形TR11はメッシュと呼ばれており、VBAPでは、このメッシュ内の任意の位置に音像を定位させることができる。
いま、各チャンネルの音声を出力する3つのスピーカSP1乃至スピーカSP3の位置を示す情報を用いて、音像位置VSP1に音像を定位させることを考える。ここで、音像位置VSP1は1つのオブジェクトOBnの位置、より詳細には、補正位置情報(An’,En’,Rn’)により示されるオブジェクトOBnの位置に対応する。
例えばユーザU11の頭部の位置、つまり位置LP21を原点とする3次元座標系において、音像位置VSP1を、位置LP21(原点)を始点とする3次元のベクトルpにより表すこととする。
また、位置LP21(原点)を始点とし、各スピーカSP1乃至スピーカSP3の位置の方向を向く3次元のベクトルをベクトルl1乃至ベクトルl3とすると、ベクトルpは次式(14)に示すように、ベクトルl1乃至ベクトルl3の線形和によって表すことができる。
式(14)においてベクトルl1乃至ベクトルl3に乗算されている係数g1乃至係数g3を算出し、これらの係数g1乃至係数g3を、スピーカSP1乃至スピーカSP3のそれぞれから出力する音声のゲイン量、つまり波形信号のゲイン量とすれば、音像位置VSP1に音像を定位させることができる。
具体的には、3つのスピーカSP1乃至スピーカSP3からなる三角形状のメッシュの逆行列L123
-1と、オブジェクトOBnの位置を示すベクトルpとに基づいて、次式(15)を計算することで、ゲイン量となる係数g1乃至係数g3を得ることができる。
なお、式(15)において、ベクトルpの要素であるRn’sinAn’ cosEn’、Rn’cosAn’ cosEn’、およびRn’sinEn’は音像位置VSP1、すなわちオブジェクトOBnの位置を示すx’y’z’座標系上のx’座標、y’座標、およびz’座標を示している。
このx’y’z’座標系は、例えばx’軸、y’軸、およびz’軸が、図2に示したxyz座標系のx軸、y軸、およびz軸と平行であり、かつ想定聴取位置に相当する位置を原点とする直交座標系とされる。また、ベクトルpの各要素は、オブジェクトOBnの位置を示す補正位置情報(An’,En’,Rn’)から求めることができる。
また、式(15)においてl11、l12、およびl13は、メッシュを構成する1つ目のスピーカへ向くベクトルl1をx’軸、y’軸、およびz’軸の成分に分解した場合におけるx’成分、y’成分、およびz’成分の値であり、1つ目のスピーカのx’座標、y’座標、およびz’座標に相当する。
同様にl21、l22、およびl23は、メッシュを構成する2つ目のスピーカへ向くベクトルl2をx’軸、y’軸、およびz’軸の成分に分解した場合におけるx’成分、y’成分、およびz’成分の値である。また、l31、l32、およびl33は、メッシュを構成する3つ目のスピーカへ向くベクトルl3をx’軸、y’軸、およびz’軸の成分に分解した場合におけるx’成分、y’成分、およびz’成分の値である。
このようにして、3つのスピーカSP1乃至スピーカSP3の位置関係を利用して係数g1乃至係数g3を求め、音像の定位位置を制御する手法は、特に3次元VBAPと呼ばれている。この場合、再生信号のチャンネル数Mは3以上となる。
なお、レンダラ処理部25では、Mチャンネルの再生信号が生成されるので、各チャンネルに対応する仮想的なスピーカの個数はM個となる。この場合、各オブジェクトOBnについて、M個のスピーカのそれぞれに対応するM個のチャンネルごとに波形信号のゲイン量が算出されることになる。
この例では、仮想のM個のスピーカからなる複数のメッシュが、仮想的なオーディオ再生空間に配置されている。そして、オブジェクトOBnが含まれるメッシュを構成する3つのスピーカに対応する3つのチャンネルのゲイン量は、上述した式(15)により求まる値とされる。一方、残りのM-3個の各スピーカに対応する、M-3個の各チャンネルのゲイン量は0とされる。
以上のようにしてレンダラ処理部25は、Mチャンネルの再生信号を生成すると、得られた再生信号を畳み込み処理部26に供給する。
このようにして得られたMチャンネルの再生信号によれば、所望の想定聴取位置での各オブジェクトの音声の聴こえ方をより現実的に再現することができる。なお、ここではVBAPによりMチャンネルの再生信号を生成する例について説明したが、Mチャンネルの再生信号は、他のどのような手法によって生成されるようにしてもよい。
Mチャンネルの再生信号は、Mチャンネルのスピーカシステムで音声を再生するための信号であり、音声処理装置11では、さらにこのMチャンネルの再生信号が、2チャンネルの再生信号へと変換されて出力される。すなわち、Mチャンネルの再生信号が、2チャンネルの再生信号へとダウンミックスされる。
例えば畳み込み処理部26は、レンダラ処理部25から供給されたMチャンネルの再生信号に対する畳み込み処理として、BRIR(Binaural Room Impulse Response)処理を行うことで、2チャンネルの再生信号を生成し、出力する。
なお、再生信号に対する畳み込み処理は、BRIR処理に限らず、2チャンネルの再生信号を得ることができる処理であれば、どのような処理であってもよい。
また、2チャンネルの再生信号の出力先がヘッドフォンである場合、予め様々なオブジェクトの位置から想定聴取位置に対するインパルス応答をテーブルで持っておくようにすることもできる。そのような場合、オブジェクトの位置から想定聴取位置に対応するインパルス応答を用いて、BRIR処理により各オブジェクトの波形信号を合成することで、各オブジェクトから出力される、所望の想定聴取位置での音声の聴こえ方を再現することができる。
しかしながら、この方法のためには、かなり多数のポイント(位置)に対応するインパルス応答を持たなければならない。また、オブジェクトの数が増えると、その数分のBRIR処理を行わなければならず、処理負荷が大きくなる。
そこで、音声処理装置11では、レンダラ処理部25により仮想のMチャンネルのスピーカにマッピング処理された再生信号(波形信号)が、その仮想のMチャンネルのスピーカからユーザ(聴取者)の両耳に対するインパルス応答を用いたBRIR処理により2チャンネルの再生信号にダウンミックスされる。この場合、Mチャンネルの各スピーカから聴取者の両耳へのインパルス応答しか持つ必要がなく、また、多数のオブジェクトがあるときでもBRIR処理はMチャンネル分となるので、処理負荷を抑えることができる。
〈再生信号生成処理の説明〉
続いて、以上において説明した音声処理装置11の処理の流れについて説明する。すなわち、以下、図5のフローチャートを参照して、音声処理装置11による再生信号生成処理について説明する。
続いて、以上において説明した音声処理装置11の処理の流れについて説明する。すなわち、以下、図5のフローチャートを参照して、音声処理装置11による再生信号生成処理について説明する。
ステップS11において、入力部21は想定聴取位置の入力を受け付ける。入力部21は、ユーザが入力部21を操作して想定聴取位置を入力すると、その想定聴取位置を示す想定聴取位置情報を位置情報補正部22および空間音響特性付加部24に供給する。
ステップS12において、位置情報補正部22は、入力部21から供給された想定聴取位置情報と、外部から供給された各オブジェクトの位置情報とに基づいて補正位置情報(An’,En’,Rn’)を算出し、ゲイン/周波数特性補正部23およびレンダラ処理部25に供給する。例えば、上述した式(1)乃至式(3)や式(4)乃至式(6)が計算されて、各オブジェクトの補正位置情報が算出される。
ステップS13において、ゲイン/周波数特性補正部23は、位置情報補正部22から供給された補正位置情報と、外部から供給された位置情報とに基づいて、外部から供給されたオブジェクトの波形信号のゲイン補正および周波数特性補正を行う。
例えば、上述した式(9)や式(10)が計算されて、各オブジェクトの波形信号Wn’[t]が求められる。ゲイン/周波数特性補正部23は、得られた各オブジェクトの波形信号Wn’[t]を空間音響特性付加部24に供給する。
ステップS14において、空間音響特性付加部24は、入力部21から供給された想定聴取位置情報と、外部から供給されたオブジェクトの位置情報とに基づいて、ゲイン/周波数特性補正部23から供給された波形信号に空間音響特性を付加し、レンダラ処理部25に供給する。例えば、空間音響特性として初期反射や残響特性などが波形信号に付加される。
ステップS15において、レンダラ処理部25は、位置情報補正部22から供給された補正位置情報に基づいて、空間音響特性付加部24から供給された波形信号に対するマッピング処理を行うことで、Mチャンネルの再生信号を生成し、畳み込み処理部26に供給する。例えばステップS15の処理では、VBAPにより再生信号が生成されるが、その他、どのような手法でMチャンネルの再生信号が生成されるようにしてもよい。
ステップS16において、畳み込み処理部26は、レンダラ処理部25から供給されたMチャンネルの再生信号に対する畳み込み処理を行うことで、2チャンネルの再生信号を生成し、出力する。例えば畳み込み処理として、上述したBRIR処理が行われる。
2チャンネルの再生信号が生成されて出力されると、再生信号生成処理は終了する。
以上のようにして音声処理装置11は、想定聴取位置情報に基づいて補正位置情報を算出するとともに、得られた補正位置情報や想定聴取位置情報に基づいて、各オブジェクトの波形信号のゲイン補正や周波数特性補正を行ったり、空間音響特性を付加したりする。
これにより、各オブジェクト位置から出力された音声の任意の想定聴取位置での聴こえ方をリアルに再現することができる。したがって、ユーザはコンテンツの再生時に自身の嗜好に合わせて、自由に音声の聴取位置を指定することができるようになり、より自由度の高いオーディオ再生を実現することができる。
〈第2の実施の形態〉
〈音声処理装置の構成例〉
なお、以上においては、ユーザが任意の想定聴取位置を指定することができる例について説明したが、聴取位置だけでなく各オブジェクトの位置も任意の位置に変更(修正)することができるようにしてもよい。
〈音声処理装置の構成例〉
なお、以上においては、ユーザが任意の想定聴取位置を指定することができる例について説明したが、聴取位置だけでなく各オブジェクトの位置も任意の位置に変更(修正)することができるようにしてもよい。
そのような場合、音声処理装置11は、例えば図6に示すように構成される。なお、図6において、図1における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図6に示す音声処理装置11は、図1における場合と同様に、入力部21、位置情報補正部22、ゲイン/周波数特性補正部23、空間音響特性付加部24、レンダラ処理部25、および畳み込み処理部26を有している。
但し、図6に示す音声処理装置11では、ユーザにより入力部21が操作され、想定聴取位置に加えて、さらに各オブジェクトの修正後(変更後)の位置を示す修正位置が入力される。入力部21は、ユーザにより入力された各オブジェクトの修正位置を示す修正位置情報を、位置情報補正部22および空間音響特性付加部24に供給する。
例えば修正位置情報は、位置情報と同様に、標準聴取位置からみた修正後のオブジェクトOBnの方位角An、仰角En、および半径Rnからなる情報とされる。なお、修正位置情報は、修正前(変更前)のオブジェクトの位置に対する、修正後(変更後)のオブジェクトの相対的な位置を示す情報とされてもよい。
また、位置情報補正部22は、入力部21から供給された想定聴取位置情報および修正位置情報に基づいて補正位置情報を算出し、ゲイン/周波数特性補正部23およびレンダラ処理部25に供給する。なお、例えば修正位置情報が、もとのオブジェクト位置からみた相対的な位置を示す情報とされる場合には、想定聴取位置情報、位置情報、および修正位置情報に基づいて、補正位置情報が算出される。
空間音響特性付加部24は、入力部21から供給された想定聴取位置情報および修正位置情報に基づいて、ゲイン/周波数特性補正部23から供給された波形信号に空間音響特性を付加し、レンダラ処理部25に供給する。
例えば、図1に示した音声処理装置11の空間音響特性付加部24では、各想定聴取位置情報について、位置情報により示される位置ごとにパラメータセットが対応付けられているテーブルを予め保持していると説明した。
これに対して、図6に示す音声処理装置11の空間音響特性付加部24は、例えば各想定聴取位置情報について、修正位置情報により示される位置ごとにパラメータセットが対応付けられているテーブルを予め保持している。そして、空間音響特性付加部24は、各オブジェクトについて、入力部21から供給された想定聴取位置情報と修正位置情報から定まるパラメータセットをテーブルから読み出し、それらのパラメータを用いてマルチタップディレイ処理や、コムフィルタ処理、オールパスフィルタ処理などを行い、波形信号に空間音響特性を付加する。
〈再生信号生成処理の説明〉
次に図7のフローチャートを参照して、図6に示す音声処理装置11による再生信号生成処理について説明する。なお、ステップS41の処理は、図5のステップS11の処理と同様であるので、その説明は省略する。
次に図7のフローチャートを参照して、図6に示す音声処理装置11による再生信号生成処理について説明する。なお、ステップS41の処理は、図5のステップS11の処理と同様であるので、その説明は省略する。
ステップS42において、入力部21は各オブジェクトの修正位置の入力を受け付ける。入力部21は、ユーザが入力部21を操作してオブジェクトごとに修正位置を入力すると、それらの修正位置を示す修正位置情報を、位置情報補正部22および空間音響特性付加部24に供給する。
ステップS43において、位置情報補正部22は、入力部21から供給された想定聴取位置情報および修正位置情報に基づいて補正位置情報(An’,En’,Rn’)を算出し、ゲイン/周波数特性補正部23およびレンダラ処理部25に供給する。
この場合、例えば上述した式(1)乃至式(3)において、位置情報の方位角、仰角、および半径が、修正位置情報の方位角、仰角、および半径に置き換えられて計算が行われ、補正位置情報が算出される。また、式(4)乃至式(6)においても、位置情報が修正位置情報に置き換えられて計算が行われる。
修正位置情報が算出されると、その後、ステップS44の処理が行われるが、ステップS44の処理は図5のステップS13の処理と同様であるので、その説明は省略する。
ステップS45において、空間音響特性付加部24は、入力部21から供給された想定聴取位置情報および修正位置情報に基づいて、ゲイン/周波数特性補正部23から供給された波形信号に空間音響特性を付加し、レンダラ処理部25に供給する。
波形信号に空間音響特性が付加されると、その後、ステップS46およびステップS47の処理が行われて再生信号生成処理は終了するが、これらの処理は図5のステップS15およびステップS16の処理と同様であるので、その説明は省略する。
以上のようにして音声処理装置11は、想定聴取位置情報および修正位置情報に基づいて補正位置情報を算出するとともに、得られた補正位置情報や想定聴取位置情報、修正位置情報に基づいて、各オブジェクトの波形信号のゲイン補正や周波数特性補正を行ったり、空間音響特性を付加したりする。
これにより、任意のオブジェクト位置から出力された音声の任意の想定聴取位置での聴こえ方をリアルに再現することができる。したがって、ユーザはコンテンツの再生時に自身の嗜好に合わせて、自由に音声の聴取位置を指定することができるだけでなく、各オブジェクトの位置も自由に指定することができるようになり、より自由度の高いオーディオ再生を実現することができる。
例えば音声処理装置11によれば、ユーザが歌声や楽器の演奏音などの構成や配置を変更させた場合の音の聴こえ方を再現することができる。したがって、ユーザはオブジェクトに対応する楽器や歌声等の構成や配置を自由に移動させ、自身の嗜好に合った音源配置や構成とした楽曲や音を楽しむことができる。
また、図6に示す音声処理装置11においても、図1に示した音声処理装置11の場合と同様に、一旦、Mチャンネルの再生信号を生成し、その再生信号を2チャンネルの再生信号に変換(ダウンミックス)することで、処理負荷を抑えることができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
図8は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
バス504には、さらに、入出力インターフェース505が接続されている。入出力インターフェース505には、入力部506、出力部507、記録部508、通信部509、及びドライブ510が接続されている。
入力部506は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記録部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインターフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア511を駆動する。
以上のように構成されるコンピュータでは、CPU501が、例えば、記録部508に記録されているプログラムを、入出力インターフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア511をドライブ510に装着することにより、入出力インターフェース505を介して、記録部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記録部508にインストールすることができる。その他、プログラムは、ROM502や記録部508に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本技術は、以下の構成とすることも可能である。
(1)
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出する位置情報補正部と、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する生成部と
を備える音声処理装置。
(2)
前記位置情報補正部は、前記音源の修正後の位置を示す修正位置情報と、前記聴取位置情報とに基づいて前記補正位置情報を算出する
(1)に記載の音声処理装置。
(3)
前記音源から前記聴取位置までの距離に応じて、前記波形信号にゲイン補正または周波数特性補正の少なくとも何れかを行う補正部をさらに備える
(1)または(2)に記載の音声処理装置。
(4)
前記聴取位置情報と前記修正位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
(2)に記載の音声処理装置。
(5)
前記空間音響特性付加部は、前記空間音響特性として、初期反射または残響特性の少なくとも何れかを前記波形信号に付加する
(4)に記載の音声処理装置。
(6)
前記聴取位置情報と前記位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
(1)に記載の音声処理装置。
(7)
前記生成部により生成された2以上のチャンネルの前記再生信号に畳み込み処理を行って、2チャンネルの前記再生信号を生成する畳み込み処理部をさらに備える
(1)乃至(6)の何れか一項に記載の音声処理装置。
(8)
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
ステップを含む音声処理方法。
(9)
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出する位置情報補正部と、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する生成部と
を備える音声処理装置。
(2)
前記位置情報補正部は、前記音源の修正後の位置を示す修正位置情報と、前記聴取位置情報とに基づいて前記補正位置情報を算出する
(1)に記載の音声処理装置。
(3)
前記音源から前記聴取位置までの距離に応じて、前記波形信号にゲイン補正または周波数特性補正の少なくとも何れかを行う補正部をさらに備える
(1)または(2)に記載の音声処理装置。
(4)
前記聴取位置情報と前記修正位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
(2)に記載の音声処理装置。
(5)
前記空間音響特性付加部は、前記空間音響特性として、初期反射または残響特性の少なくとも何れかを前記波形信号に付加する
(4)に記載の音声処理装置。
(6)
前記聴取位置情報と前記位置情報とに基づいて、前記波形信号に空間音響特性を付加する空間音響特性付加部をさらに備える
(1)に記載の音声処理装置。
(7)
前記生成部により生成された2以上のチャンネルの前記再生信号に畳み込み処理を行って、2チャンネルの前記再生信号を生成する畳み込み処理部をさらに備える
(1)乃至(6)の何れか一項に記載の音声処理装置。
(8)
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
ステップを含む音声処理方法。
(9)
音源の位置を示す位置情報と、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
11 音声処理装置, 21 入力部, 22 位置情報補正部, 23 ゲイン/周波数特性補正部, 24 空間音響特性付加部, 25 レンダラ処理部, 26 畳み込み処理部
Claims (3)
- 音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出する位置情報補正部と、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を3次元VBAPを用いて生成する生成部と、
前記生成部により生成された3以上の前記再生信号にBRIRを用いた畳み込み処理を行って、前記3以上の前記再生信号を2チャンネルの信号に変換する処理部と
を備え、
前記2チャンネルの信号の出力先はヘッドフォンである
音声処理装置。 - 音声処理装置が、
音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を3次元VBAPを用いて生成し、
生成された3以上の前記再生信号にBRIRを用いた畳み込み処理を行って、前記3以上の前記再生信号を2チャンネルの信号に変換し、
前記2チャンネルの信号の出力先はヘッドフォンである
音声処理方法。 - 音源からの音声を聴取する標準聴取位置を基準とする前記音源の位置を示す位置情報と、前記標準聴取位置とは異なる、前記音源からの音声を聴取する聴取位置を示す聴取位置情報とに基づいて、前記聴取位置を基準とする前記音源の位置を示す補正位置情報を算出し、
前記音源の波形信号と前記補正位置情報とに基づいて、前記聴取位置において聴取される前記音源からの音声を再現する再生信号を3次元VBAPを用いて生成し、
生成された3以上の前記再生信号にBRIRを用いた畳み込み処理を行って、前記3以上の前記再生信号を2チャンネルの信号に変換する
ステップを含む処理をコンピュータに実行させ、
前記2チャンネルの信号の出力先はヘッドフォンである
プログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014005656 | 2014-01-16 | ||
JP2014005656 | 2014-01-16 | ||
JP2020105277A JP7010334B2 (ja) | 2014-01-16 | 2020-06-18 | 音声処理装置および方法、並びにプログラム |
JP2022002944A JP7367785B2 (ja) | 2014-01-16 | 2022-01-12 | 音声処理装置および方法、並びにプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022002944A Division JP7367785B2 (ja) | 2014-01-16 | 2022-01-12 | 音声処理装置および方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023165864A true JP2023165864A (ja) | 2023-11-17 |
Family
ID=53542817
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015557783A Active JP6586885B2 (ja) | 2014-01-16 | 2015-01-06 | 音声処理装置および方法、並びにプログラム |
JP2019166675A Active JP6721096B2 (ja) | 2014-01-16 | 2019-09-12 | 音声処理装置および方法、並びにプログラム |
JP2020105277A Active JP7010334B2 (ja) | 2014-01-16 | 2020-06-18 | 音声処理装置および方法、並びにプログラム |
JP2022002944A Active JP7367785B2 (ja) | 2014-01-16 | 2022-01-12 | 音声処理装置および方法、並びにプログラム |
JP2023163452A Pending JP2023165864A (ja) | 2014-01-16 | 2023-09-26 | 音声処理装置および方法、並びにプログラム |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015557783A Active JP6586885B2 (ja) | 2014-01-16 | 2015-01-06 | 音声処理装置および方法、並びにプログラム |
JP2019166675A Active JP6721096B2 (ja) | 2014-01-16 | 2019-09-12 | 音声処理装置および方法、並びにプログラム |
JP2020105277A Active JP7010334B2 (ja) | 2014-01-16 | 2020-06-18 | 音声処理装置および方法、並びにプログラム |
JP2022002944A Active JP7367785B2 (ja) | 2014-01-16 | 2022-01-12 | 音声処理装置および方法、並びにプログラム |
Country Status (11)
Country | Link |
---|---|
US (6) | US10477337B2 (ja) |
EP (3) | EP3096539B1 (ja) |
JP (5) | JP6586885B2 (ja) |
KR (5) | KR102427495B1 (ja) |
CN (2) | CN105900456B (ja) |
AU (5) | AU2015207271A1 (ja) |
BR (2) | BR122022004083B1 (ja) |
MY (1) | MY189000A (ja) |
RU (2) | RU2019104919A (ja) |
SG (1) | SG11201605692WA (ja) |
WO (1) | WO2015107926A1 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3346728A4 (en) | 2015-09-03 | 2019-04-24 | Sony Corporation | SOUND PROCESSING DEVICE, METHOD AND PROGRAM |
JP6841229B2 (ja) * | 2015-12-10 | 2021-03-10 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
EP4322551A3 (en) * | 2016-11-25 | 2024-04-17 | Sony Group Corporation | Reproduction apparatus, reproduction method, information processing apparatus, information processing method, and program |
US11082790B2 (en) * | 2017-05-04 | 2021-08-03 | Dolby International Ab | Rendering audio objects having apparent size |
KR102652670B1 (ko) | 2017-07-14 | 2024-04-01 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념 |
KR102654507B1 (ko) | 2017-07-14 | 2024-04-05 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 다중-지점 음장 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념 |
CN111108555B (zh) | 2017-07-14 | 2023-12-15 | 弗劳恩霍夫应用研究促进协会 | 使用深度扩展DirAC技术或其他技术生成经增强的声场描述或经修改的声场描述的装置和方法 |
JP7294135B2 (ja) * | 2017-10-20 | 2023-06-20 | ソニーグループ株式会社 | 信号処理装置および方法、並びにプログラム |
RU2020112483A (ru) * | 2017-10-20 | 2021-09-27 | Сони Корпорейшн | Устройство, способ и программа для обработки сигнала |
CN111316671B (zh) * | 2017-11-14 | 2021-10-22 | 索尼公司 | 信号处理设备和方法以及程序 |
CN113993060A (zh) | 2018-04-09 | 2022-01-28 | 杜比国际公司 | 用于mpeg-h 3d音频的三自由度(3dof+)扩展的方法、设备和系统 |
KR20210151792A (ko) * | 2019-04-11 | 2021-12-14 | 소니그룹주식회사 | 정보 처리 장치 및 방법, 재생 장치 및 방법, 그리고 프로그램 |
EP3989605A4 (en) | 2019-06-21 | 2022-08-17 | Sony Group Corporation | SIGNAL PROCESSING DEVICE AND METHOD AND PROGRAM |
WO2021018378A1 (en) * | 2019-07-29 | 2021-02-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for processing a sound field representation in a spatial transform domain |
JP2022543121A (ja) * | 2019-08-08 | 2022-10-07 | ジーエヌ ヒアリング エー/エス | 1人以上の所望の話者の音声を強調するバイラテラル補聴器システム及び方法 |
DE112020005550T5 (de) | 2019-11-13 | 2022-09-01 | Sony Group Corporation | Signalverarbeitungsvorrichtung, verfahren und programm |
JPWO2021124903A1 (ja) * | 2019-12-17 | 2021-06-24 | ||
BR112022013235A2 (pt) | 2020-01-10 | 2022-09-06 | Sony Group Corp | Dispositivo e método de codificação, programa para fazer com que um computador execute processamento, dispositivo de decodificação, e, método de decodificação desempenhado |
WO2021229828A1 (ja) * | 2020-05-11 | 2021-11-18 | ヤマハ株式会社 | 信号処理方法、信号処理装置、及びプログラム |
US20230254656A1 (en) * | 2020-07-15 | 2023-08-10 | Sony Group Corporation | Information processing apparatus, information processing method, and terminal device |
CN111954146B (zh) * | 2020-07-28 | 2022-03-01 | 贵阳清文云科技有限公司 | 虚拟声环境合成装置 |
JP7493412B2 (ja) | 2020-08-18 | 2024-05-31 | 日本放送協会 | 音声処理装置、音声処理システムおよびプログラム |
JPWO2022054602A1 (ja) * | 2020-09-09 | 2022-03-17 | ||
US20230388735A1 (en) * | 2020-11-06 | 2023-11-30 | Sony Interactive Entertainment Inc. | Information processing apparatus, information processing apparatus control method, and program |
JP2023037510A (ja) * | 2021-09-03 | 2023-03-15 | 株式会社Gatari | 情報処理システム、情報処理方法および情報処理プログラム |
EP4175325B1 (en) * | 2021-10-29 | 2024-05-22 | Harman Becker Automotive Systems GmbH | Method for audio processing |
CN114520950B (zh) * | 2022-01-06 | 2024-03-01 | 维沃移动通信有限公司 | 音频输出方法、装置、电子设备及可读存储介质 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5147727B2 (ja) | 1974-01-22 | 1976-12-16 | ||
JP3118918B2 (ja) | 1991-12-10 | 2000-12-18 | ソニー株式会社 | ビデオテープレコーダ |
JP2910891B2 (ja) * | 1992-12-21 | 1999-06-23 | 日本ビクター株式会社 | 音響信号処理装置 |
JPH06315200A (ja) | 1993-04-28 | 1994-11-08 | Victor Co Of Japan Ltd | 音像定位処理における距離感制御方法 |
US5742688A (en) | 1994-02-04 | 1998-04-21 | Matsushita Electric Industrial Co., Ltd. | Sound field controller and control method |
JP3687099B2 (ja) * | 1994-02-14 | 2005-08-24 | ソニー株式会社 | 映像信号及び音響信号の再生装置 |
JP3258816B2 (ja) * | 1994-05-19 | 2002-02-18 | シャープ株式会社 | 3次元音場空間再生装置 |
JPH0946800A (ja) * | 1995-07-28 | 1997-02-14 | Sanyo Electric Co Ltd | 音像制御装置 |
DE69841857D1 (de) | 1998-05-27 | 2010-10-07 | Sony France Sa | Musik-Raumklangeffekt-System und -Verfahren |
JP2000210471A (ja) * | 1999-01-21 | 2000-08-02 | Namco Ltd | ゲ―ム機用音声装置および情報記録媒体 |
FR2850183B1 (fr) * | 2003-01-20 | 2005-06-24 | Remy Henri Denis Bruno | Procede et dispositif de pilotage d'un ensemble de restitution a partir d'un signal multicanal. |
JP3734805B2 (ja) * | 2003-05-16 | 2006-01-11 | 株式会社メガチップス | 情報記録装置 |
JP2005094271A (ja) * | 2003-09-16 | 2005-04-07 | Nippon Hoso Kyokai <Nhk> | 仮想空間音響再生プログラムおよび仮想空間音響再生装置 |
JP4551652B2 (ja) * | 2003-12-02 | 2010-09-29 | ソニー株式会社 | 音場再生装置及び音場空間再生システム |
CN100426936C (zh) | 2003-12-02 | 2008-10-15 | 北京明盛电通能源新技术有限公司 | 一种耐高温无机电热膜及其制作方法 |
KR100608002B1 (ko) * | 2004-08-26 | 2006-08-02 | 삼성전자주식회사 | 가상 음향 재생 방법 및 그 장치 |
JP2006074589A (ja) * | 2004-09-03 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 音響処理装置 |
JP2008512898A (ja) * | 2004-09-03 | 2008-04-24 | パーカー ツハコ | 録音音響による擬似三次元音響空間生成方法及び装置 |
US20060088174A1 (en) * | 2004-10-26 | 2006-04-27 | Deleeuw William C | System and method for optimizing media center audio through microphones embedded in a remote control |
KR100612024B1 (ko) * | 2004-11-24 | 2006-08-11 | 삼성전자주식회사 | 비대칭성을 이용하여 가상 입체 음향을 생성하는 장치 및그 방법과 이를 수행하기 위한 프로그램이 기록된 기록매체 |
JP4507951B2 (ja) * | 2005-03-31 | 2010-07-21 | ヤマハ株式会社 | オーディオ装置 |
WO2007083958A1 (en) | 2006-01-19 | 2007-07-26 | Lg Electronics Inc. | Method and apparatus for decoding a signal |
KR101366291B1 (ko) | 2006-01-19 | 2014-02-21 | 엘지전자 주식회사 | 신호 디코딩 방법 및 장치 |
JP4286840B2 (ja) * | 2006-02-08 | 2009-07-01 | 学校法人早稲田大学 | インパルス応答合成方法および残響付与方法 |
EP1843636B1 (en) * | 2006-04-05 | 2010-10-13 | Harman Becker Automotive Systems GmbH | Method for automatically equalizing a sound system |
JP2008072541A (ja) * | 2006-09-15 | 2008-03-27 | D & M Holdings Inc | オーディオ装置 |
US8036767B2 (en) * | 2006-09-20 | 2011-10-11 | Harman International Industries, Incorporated | System for extracting and changing the reverberant content of an audio input signal |
JP4946305B2 (ja) * | 2006-09-22 | 2012-06-06 | ソニー株式会社 | 音響再生システム、音響再生装置および音響再生方法 |
KR101368859B1 (ko) * | 2006-12-27 | 2014-02-27 | 삼성전자주식회사 | 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치 |
JP5114981B2 (ja) * | 2007-03-15 | 2013-01-09 | 沖電気工業株式会社 | 音像定位処理装置、方法及びプログラム |
JP2010151652A (ja) | 2008-12-25 | 2010-07-08 | Horiba Ltd | 熱電対用端子ブロック |
JP5577597B2 (ja) * | 2009-01-28 | 2014-08-27 | ヤマハ株式会社 | スピーカアレイ装置、信号処理方法およびプログラム |
RU2525109C2 (ru) * | 2009-06-05 | 2014-08-10 | Конинклейке Филипс Электроникс Н.В. | Система объемного звука и способ для нее |
JP2011188248A (ja) * | 2010-03-09 | 2011-09-22 | Yamaha Corp | オーディオアンプ |
JP6016322B2 (ja) * | 2010-03-19 | 2016-10-26 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
EP2375779A3 (en) * | 2010-03-31 | 2012-01-18 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for measuring a plurality of loudspeakers and microphone array |
JP5533248B2 (ja) | 2010-05-20 | 2014-06-25 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
JP5456622B2 (ja) * | 2010-08-31 | 2014-04-02 | 株式会社スクウェア・エニックス | ビデオゲーム処理装置、およびビデオゲーム処理プログラム |
JP2012191524A (ja) | 2011-03-11 | 2012-10-04 | Sony Corp | 音響装置および音響システム |
JP6007474B2 (ja) * | 2011-10-07 | 2016-10-12 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法、プログラムおよび記録媒体 |
EP2645749B1 (en) * | 2012-03-30 | 2020-02-19 | Samsung Electronics Co., Ltd. | Audio apparatus and method of converting audio signal thereof |
WO2013181272A2 (en) * | 2012-05-31 | 2013-12-05 | Dts Llc | Object-based audio system using vector base amplitude panning |
JP2016518067A (ja) * | 2013-04-05 | 2016-06-20 | トムソン ライセンシングThomson Licensing | 没入型オーディオの残響音場を管理する方法 |
US20150189457A1 (en) * | 2013-12-30 | 2015-07-02 | Aliphcom | Interactive positioning of perceived audio sources in a transformed reproduced sound field including modified reproductions of multiple sound fields |
-
2015
- 2015-01-06 KR KR1020227002133A patent/KR102427495B1/ko active IP Right Grant
- 2015-01-06 SG SG11201605692WA patent/SG11201605692WA/en unknown
- 2015-01-06 EP EP15737737.5A patent/EP3096539B1/en active Active
- 2015-01-06 BR BR122022004083-7A patent/BR122022004083B1/pt active IP Right Grant
- 2015-01-06 MY MYPI2016702468A patent/MY189000A/en unknown
- 2015-01-06 CN CN201580004043.XA patent/CN105900456B/zh active Active
- 2015-01-06 JP JP2015557783A patent/JP6586885B2/ja active Active
- 2015-01-06 US US15/110,176 patent/US10477337B2/en active Active
- 2015-01-06 EP EP24152612.8A patent/EP4340397A3/en active Pending
- 2015-01-06 KR KR1020227025955A patent/KR102621416B1/ko active IP Right Grant
- 2015-01-06 KR KR1020167018010A patent/KR102306565B1/ko active Application Filing
- 2015-01-06 CN CN201910011603.4A patent/CN109996166B/zh active Active
- 2015-01-06 RU RU2019104919A patent/RU2019104919A/ru unknown
- 2015-01-06 RU RU2016127823A patent/RU2682864C1/ru active
- 2015-01-06 KR KR1020217030283A patent/KR102356246B1/ko active IP Right Grant
- 2015-01-06 AU AU2015207271A patent/AU2015207271A1/en not_active Abandoned
- 2015-01-06 WO PCT/JP2015/050092 patent/WO2015107926A1/ja active Application Filing
- 2015-01-06 KR KR1020247000015A patent/KR20240008397A/ko active Search and Examination
- 2015-01-06 BR BR112016015971-3A patent/BR112016015971B1/pt active IP Right Grant
- 2015-01-06 EP EP20154698.3A patent/EP3675527B1/en active Active
-
2019
- 2019-04-09 AU AU2019202472A patent/AU2019202472B2/en active Active
- 2019-04-23 US US16/392,228 patent/US10694310B2/en active Active
- 2019-09-12 JP JP2019166675A patent/JP6721096B2/ja active Active
-
2020
- 2020-05-26 US US16/883,004 patent/US10812925B2/en active Active
- 2020-06-18 JP JP2020105277A patent/JP7010334B2/ja active Active
- 2020-10-05 US US17/062,800 patent/US11223921B2/en active Active
-
2021
- 2021-08-23 AU AU2021221392A patent/AU2021221392A1/en not_active Abandoned
- 2021-11-29 US US17/456,679 patent/US11778406B2/en active Active
-
2022
- 2022-01-12 JP JP2022002944A patent/JP7367785B2/ja active Active
-
2023
- 2023-04-18 US US18/302,120 patent/US20230254657A1/en active Pending
- 2023-06-07 AU AU2023203570A patent/AU2023203570B2/en active Active
- 2023-09-26 JP JP2023163452A patent/JP2023165864A/ja active Pending
-
2024
- 2024-04-16 AU AU2024202480A patent/AU2024202480A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7367785B2 (ja) | 音声処理装置および方法、並びにプログラム | |
JP2021061631A (ja) | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 | |
KR100955328B1 (ko) | 반사음 재생을 위한 입체 음장 재생 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230926 |