JP2020506639A - オーディオ信号処理方法及び装置 - Google Patents

オーディオ信号処理方法及び装置 Download PDF

Info

Publication number
JP2020506639A
JP2020506639A JP2019543846A JP2019543846A JP2020506639A JP 2020506639 A JP2020506639 A JP 2020506639A JP 2019543846 A JP2019543846 A JP 2019543846A JP 2019543846 A JP2019543846 A JP 2019543846A JP 2020506639 A JP2020506639 A JP 2020506639A
Authority
JP
Japan
Prior art keywords
audio signal
transfer function
signal processing
flat response
binaural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019543846A
Other languages
English (en)
Inventor
ヨンヒョン・ペク
チョンフン・ソ
セウン・チョン
サンペ・チョン
Original Assignee
ガウディオ・ラボ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR20170018515 priority Critical
Priority to KR10-2017-0018515 priority
Application filed by ガウディオ・ラボ・インコーポレイテッド filed Critical ガウディオ・ラボ・インコーポレイテッド
Priority to PCT/KR2018/001833 priority patent/WO2018147701A1/ko
Publication of JP2020506639A publication Critical patent/JP2020506639A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control

Abstract

入力オーディオ信号をレンダリングするオーディオ信号処理装置が開示される。オーディオ信号処理装置は、前記入力オーディオ信号を受信する受信部と、前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成するプロセッサと、前記プロセッサによって生成された出力オーディオ信号を出力する出力部と、を含む。前記プロセッサは、聴取者を基準に前記入力オーディオ信号に対応する仮想の音源の位置に基づいて第1伝達関数(transfer function)を獲得し、周波数ドメインで一定な大きさの値(magnitude)を有する少なくとも一つのフラット応答を生成し、前記第1伝達関数及び前記少なくとも一つのフラット応答に基づいて第2伝達関数を生成し、前記生成された第2伝達関数に基づいて前記入力オーディオ信号をバイノーラルレンダリングして前記出力オーディオ信号を生成する。

Description

本開示はオーディオ信号処理方法及び装置に関し、より詳しくは、入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を提供するオーディオ信号処理方法及び装置に関する。
HMD(Head Mounted Display)機器において、イマーシブ(immersive)及びインタラクティブ(interactive)オーディオを提供するために、バイノーラルレンダリング(binaural rendering)技術が必須的に求められている。バイノーラルレンダリングは、3次元空間上で臨場感のあるサウンドを提供する3Dオーディオを、人の両耳に提供右される信号にモデリングすることである。聴取者は、ヘッドホンやイヤホンなどを介したバイノーラルレンダリングされた2チャネルオーディオ出力信号を介しても立体感を感じることができる。バイノーラルレンダリングの具体的な原理は以下のようである。人は常に両耳を介して音を聞き、音を介して音源の位置と方向を認識する。よって、3Dオーディオを人の両耳に伝達されるオーディオ信号の形態にモデリングすることができれば、多数のスピーカがなくても、2チャネルオーディオ出力を介しても2Dオーディオの立体感を再現することができる。
この際、バイノーラルレンダリングの対象となるオーディオ信号が含むオブジェクト(object)またはチャネル個数が増加すれば、バイノーラルレンダリングに必要な演算量及び電力消耗が増加する恐れがある。それによって、演算量及び電力消耗の制約があるモバイルディバイスにおいて、入力信号に対するバイノーラルレンダリングを効率的に行うための技術が求められている。
また、オーディオ信号処理装置がHRTF(head related transfer function)のようなバイノーラル伝達関数を利用して入力オーディオ信号をバイノーラルレンダリングすれば、バイノーラル伝達関数の特性による音色変化は音楽のような高音質コンテンツの音質低下の要因とあり得る。高音質が求められるコンテンツの音色が大きく変われば、聴取者に提供される仮想現実の効果を低下する恐れがある。それによって、入力オーディオ信号の音色保存及び音相定位を考慮したバイノーラルレンダリング関連技術が求められている。
本開示に一実施例は、入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を精製するに当たって、求められる音相定位性能及び音色保存性能による出力オーディオ信号を生成するオーディオ信号処理装置及び方法を提供することを目的とする。
本発明の一実施例によって入力オーディオ信号をレンダリングするオーディオ信号処理装置は、前記入力オーディオ信号を受信する受信部と、前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成するプロセッサと、前記プロセッサによって生成された出力オーディオ信号を出力する出力部と、を含む。前記プロセッサは、聴取者を基準に前記入力オーディオ信号に対応する仮想の音源の位置に基づいて第1伝達関数(transfer function)を獲得し、周波数ドメインで一定な大きさの値(magnitude)を有する少なくとも一つのフラット応答を生成し、前記第1伝達関数及び前記少なくとも一つのフラット応答に基づいて第2伝達関数を生成し、前記生成された第2伝達関数に基づいて前記入力オーディオ信号をバイノーラルレンダリングして前記出力オーディオ信号を生成する。
前記プロセッサは、前記第1伝達関数と前記少なくとも一つのフラット応答を加重合計(weighted sum)して前記第2伝達関数を生成する。
前記プロセッサは、前記入力オーディオ信号に対応するバイノーラル効果強度情報に基づいて前記第1伝達関数と前記少なくとも一つのフラット応答との間の加重合計に利用される加重パラメータを決定し、前記決定された加重パラメータに基づいて前記第2伝達関数を生成する。
前記プロセッサは、前記加重パラメータに基づいて前記大きさ成分と前記少なくとも一つのフラット応答を周波数ビン(frequency bin)別に加重合計して前記第2伝達関数を生成する。この際、周波数ドメインにおいて、それぞれの周波数ビンに対応する前記第2伝達関数の位相成分は前記第1伝達関数の位相成分と同じである。
前記プロセッサは、前記聴取者を基準に、前記入力オーディオ信号に対応する仮想の音源の位置に基づいて前記パニングゲインを決定する。また、前記プロセッサは、前記パニングゲインに基づいて前記少なくとも一つのフラット応答を生成する。
前記プロセッサは、前記仮想の音源の位置を示す両耳間極座標(interaural polat coordinate point)の方位角の値に基づいて前記パニングゲインを決定する。
前記プロセッサは、前記仮想の音源の位置を示す垂直極座標を前記両耳間極座標に変換し、前記変換された両耳間極座標の方位角の値に基づいて前記パニングゲインを決定する。
前記プロセッサは、前記第1伝達関数の少なくとも一部分に基づいて前記少なくとも一つのフラット応答を生成する。この際、前記少なくとも一つのフラット応答は、少なくとも一部の周波数に対応する第1伝達関数の大きさ成分の平均である。
前記第1伝達関数は、前記入力オーディオ信号に対応する仮想の音源の位置に対応するHRTFの対(pair)が含む同側のHRTF及び対側のHRTFのうちいずれか一つである。
この際、前記プロセッサは、前記同側のHRTF及び前記対側のHRTFそれぞれ、及び前記少なくとも一つのフラット応答に基づいて同側の第2伝達関数及び対側の第2伝達関数それぞれを生成し、前記同側の第2伝達関数及び対側の第2伝達関数のエネルギーレベルの合計を前記同側のHRTF及び前記対側のHRTFのエネルギーレベルの合計と同じになるように設定する。
本発明の一実施例によるオーディオ信号処理装置は、前記第1伝達関数及び前記少なくとも一つのフラット応答に基づいて前記出力オーディオ信号を生成する。前記プロセッサは、前記第1伝達関数に基づいて前記入力オーディオ信号をフィルタリングして第1中間信号を生成する。ここで、前記入力オーディオ信号をフィルタリングして前記第1中間信号を生成することは、前記入力オーディオ信号をバイノーラルレンダリングして前記第1中間信号を生成することを含む。また、前記プロセッサは、前記少なくとも一つのフラット応答に基づいて入力オーディオ信号をフィルタリングして第2中間信号を生成する。
前記プロセッサは、前記第1中間信号及び前記第2中間信号をミキシング(mixing)して出力オーディオ信号を生成する。前記プロセッサは、前記第1中間信号及び前記第2中間信号をミキシングに利用されるミキシングゲインを決定する。ここで、ミキシングゲインは、前記出力オーディオ信号に反映される前記第1中間信号と前記第2中間信号と間の割合を示す。
前記プロセッサは、前記入力信号に対応するバイノーラル効果強度情報に基づいて、前記第1伝達関数に適用される第1ミキシングゲイン及び前記少なくとも一つのフラット応答に適用される第2ミキシングゲインを決定する。前記プロセッサは、前記第1ミキシングゲイン及び前記第2ミキシングゲインに基づいて、前記第1伝達関数及び前記少なくとも一つのフラット応答をミキシングして出力オーディオ信号を生成する。
本発明の一実施例によるオーディオ信号処理方法は、入力オーディオ信号を受信するステップと、聴取者を基準に前記入力オーディオ信号に対応する仮想の音源の位置に基づいて第1伝達関数を獲得するステップと、周波数ドメインにおいて一定な大きさの値を有する少なくとも一つのフラット応答を生成するステップと、前記第1伝達関数及び前記少なくとも一つのフラット応答に基づいて前記第2伝達関数を生成するステップと、前記生成された第2伝達関数に基づいて前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成するステップと、前記生成された出力オーディオ信号を出力するステップと、を含む。
本発明の実施例によるオーディオ信号処理装置及び方法は、フラット応答を利用してバイノーラルレンダリング過程で発生する音色歪曲を緩和することができる。また、オーディオ信号処理装置及び方法は、音相定位の程度を調節して高度感を示す特徴を生かしながら、音色を保存する効果を有する。
本開示の一実施例によるオーディオ信号処理装置の構成を示すブロック図である。 本開示の一実施例による第1伝達関数、第2伝達関数、及びフラット応答の周波数応答を示す。 本開示の一実施例によるオーディオ信号処理装置が第1伝達関数の対に基づいて第2伝達関数の対を生成する方法を示すブロック図である。 ラウドスピーカ環境において、オーディオ信号処理装置がパニングゲインを決定する方法を示す図である。 垂直極座標系及び両耳間極座標系を示す図である。 本開示の他の一実施例によってオーディオ信号処理装置が両耳間極座標系を利用して出力オーディオ信号を生成する方法を示す図である。 本開示の一実施例によるオーディオ信号処理装置の動作方法を示すフローチャートである。
以下、添付した図面を参照し本発明の実施例について本発明が属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本発明は様々な異なる形態に具現されてもよく、ここで説明する実施例に限らない。そして、図面において、本発明を明確に説明するために説明とは関係のない部分は省略しており、明細書全体にわたって類似した部分に対しては類似した図面符号をつけている。
また、ある部分がある構成要素を「含む」という際、これは特に反対する記載がない限り、他の構成要素を除くのではなく、他の構成要素を更に含むことを意味する。また、ある部分がある構成要素を「含む」という際、これは特に反対する記載がない限り、他の構成要素を除くのではなく、他の構成要素を更に含むことを意味する。
本出願は、韓国特許出願 第10−2017-0018515号(2017.02.10)に基づく優先権を主張し、優先権の基礎となる前記出願に述べられた実施例及び記載事項は、本出願の詳細な説明に含まれるとする。
本開示は、オーディオ信号処理装置が入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する方法に関する。本発明の一実施例によって、オーディオ信号処理装置は、前記入力オーディオ信号に対応する両耳間伝達関数の対(binaural transfer function pair)及びフラット応答に基づいて出力オーディオ信号を生成する。本開示の実施例によるオーディオ信号処理装置は、フラット応答を利用してバイノーラルレンダリング過程で発生する音色歪曲(timbre distortion)を緩和する。また、本開示の一実施例によるオーディオ信号処理装置は、フラット応答及び加重パラメータを利用して聴取者にバイノーラルレンダリング効果強度制御(Binaural Rendering Effect Strength Control)による多様なサウンド環境を提供する。
以下、添付した図面を参照して本発明を詳細に説明する。
図1は、本開示の一実施例によるオーディオ信号処理装置100の構成を示すブロック図である。
一実施例によって、オーディオ信号処理装置100は、受信部110、プロセッサ120、及び出力部130を含む。しかし、図1に示した構成要素全てがオーディオ信号処理装置の必須構成要素ではない。オーディオ信号処理装置100は、図1に示していない構成要素を追加に含んでもよい。それだけでなく、図1に示したオーディオ信号処理装置100の構成要素のうち少なくとも一部が省略されてもよい。
受信部110は、オーディオ信号を受信する。受信部110は、オーディオ信号処理装置100に入力される入力オーディオ信号を受信する。受信部110は、プロセッサ120によるバイノーラルレンダリングの対象となる入力オーディオ信号を受信する。
ここで、入力オーディオ信号は、オブジェクト信号またはチャネル信号のうち少なくとも一つを含む。この際、オーディオ信号は、1つのオブジェクト信号またはモノ信号である。または、オーディオ信号は、マルチオブジェクトまたはマルチチャネル信号であってもよい。一実施例によって、オーディオ信号処理装置100が別途のデコーダを含めば、オーディオ信号処理装置100は入力オーディオ信号の符号化されたビットストリームを受信してもよい。
一実施例によって、受信部110は入力オーディオ信号を受信するための受信手段を備える。例えば、受信部110は、有線で伝送される入力オーディオ信号を受信するオーディオ信号処入力端子を含んでもよい。または、受信部110は、無線で伝送されるオーディオ信号を受信する無線オーディオ信号受信モジュールを含んでもよい。この場合、受信部110は、ブルートゥース(登録商標)(bluetooth)またはワイファイ(Wi−Fi)通信方法を利用して無線で伝送されるオーディオ信号を受信する。
プロセッサ120は、一つ以上のプロセッサを備えてオーディオ信号処理装置100の全般的な動作を制御する。例えば、プロセッサ120は少なくとも一つのプログラムを実行することで、受信部110及び出力部130の動作を制御する。また、プロセッサ120は少なくとも一つのプログラムを実行して、後述する図3乃至図6のオーディオ信号処理装置100の動作を行う。
例えば、プロセッサ120は出力オーディオ信号を生成する。プロセッサ120は、受信部110を介して受信された入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。プロセッサ120は、後述する出力部130を介して出力オーディオ信号を出力する。
一実施例によって、出力オーディオ信号はバイノーラルオーディオ信号である。例えば、出力オーディオ信号は、入力オーディオ信号が3次元空間に位置する仮想の音源で表現される2チャネルオーディオ信号であってもよい。プロセッサ120は、後述する伝達関数の対に基づいてバイノーラルレンダリングを行う。プロセッサ120は、時間ドメインまたは周波数ドメイン上でバイノーラルレンダリングを行う。
一実施例によって、プロセッサ120は入力オーディオ信号をバイノーラルレンダリングして2チャネル出力オーディオ信号を生成する。例えば、プロセッサ120は聴取者の両耳にそれぞれ対応する2チャネル出力オーディオ信号を生成してもよい。この際、2チャネル出力オーディオ信号は、バイノーラル2チャネル出力オーディオ信号である。プロセッサ120は、上述した入力オーディオ信号に対してバイノーラルレンダリングを行い、3次元上に表現されるオーディオヘッドホン信号を生成する。
一実施例によって、プロセッサ120は伝達関数の対に基づいて入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。伝達関数の対は、少なくとも一つの伝達関数を含む。例えば、伝達関数の対は聴取者の両耳に対応する一対の伝達関数を含む。伝達関数の対は、同側(ipsilateral)伝達関数及び対側(contralateral)伝達関数を含む。詳しくは、伝達関数の対は、同側の耳のためのチャネルに対応する同側のHRTF、及び対側の耳のためのチャネルに対応する対側のHRTFを含む。
以下では説明の便宜上、特別な記載がない限り、伝達関数の対が含む少なくとも一つの伝達関数のうちからいずれか一つを示す用語として伝達関数を利用する。伝達関数を利用して説明される実施例は、少なくとも一つの伝達関数それぞれに対して同じく適用される。例えば、第1伝達関数の対が同側の第1伝達関数及び対側の第1伝達関数を含めば、同側の第1伝達関数または対側の第1伝達関数の対のうちいずれか一つを示す第1伝達関数を利用して実施例を説明する。第1伝達関数を利用して説明する実施例は、同側及び対側の第1伝達関数の対それぞれに対して同じまたは相応する方法で適用される。
本開示において、伝達関数は入力オーディオ信号のバイノーラルレンダリングに利用されるバイノーラル伝達関数の対を含む。伝達関数は、HRTF、ITF(Interaural Transfer Function)、MITF(Modified ITF)、BRTF(Binaural Room Transfer Function)、RIR(Room Impulse Response)、BRIR(Binaural Room Impulse Response)、HRIR(Head Related Impulse Response)、及びこれの変形及び編集されたデータのうち少なくとも一つを含むが、本開示はこれに限らない。例えば、バイノーラル伝達関数は、複数のバイノーラル伝達関数を線形結合して獲得した2次的バイノーラル伝達関数を含んでもよい。
伝達関数は無響室で測定されたものであり、シミュレーションで推定されたHRTFに関する情報を含む。HRTFを推定するのに使用されるシミュレーション技法は、球状ヘッドモデル(Spherical Head Model、SHM)、スノーマンモデル(snowman model)、有限差分時間領域技法(Finite−Difference Time−Domain Method、FDTDM)、及び境界要素法(Boundary Element Method、BEM)のうち少なくとも一つである。この際、球状ヘッドモデルは人の頭が球状であると仮定してシミュレーションするシミュレーション技法を指す。また、スノーマンモデルは頭と体が球状であると仮定してシミュレーションするシミュレーション技法を指す。伝達関数はIR(Impulse Response)を高速フーリエ変換(Fast Fourier Transform)したものであってもよいが、変換方法はこれに限らない。
一実施例によって、プロセッサ120は入力オーディオ信号に対応する仮想の音源の位置に基づいて伝達関数の対を決定する。この際、プロセッサ120はオーディオ信号処理装置100ではない他の装置(図示せず)から伝達関数の対を獲得してもよい。例えば、プロセッサ120は複数の伝達関数を含むデータベース(data base)から少なくいとも一つの伝達関数を受信してもよい。データベースは、複数の伝達関数の対を含む伝達関数のセットを貯蔵する外部の装置である。この際、オーディオ信号処理装置100はデータベースに伝達関数を要請し、データベースから伝達関数に関する情報を受信する別途の通信部(図示せず)を含んでもよい。または、プロセッサ120は、オーディオ信号処理装置100に貯蔵された伝達関数のセットに基づいて入力オーディオ信号に対応する伝達関数の対を獲得してもよい。
一実施例によって、プロセッサ120は上述した方法で獲得した伝達関数の対に基づいて入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。例えば、プロセッサ120はデータベースから獲得した第1伝達関数及び少なくとも一つのフラット応答に基づいて第2伝達関数を生成する。また、プロセッサ120は、生成された第2伝達関数に基づいて入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。それについては、フラット応答を利用して出力オーディオ信号を生成する方法に関して詳しく後述する。フラット応答は、周波数ドメインで一定な大きさの値(magnitude)を有するフィルタ応答である。
一実施例によって、プロセッサ120の出力オーディオ信号に対するポストプロセッシングが追加に行われる。ポストプロセッシングにはクローストークの除去、DRC(Dynamic Range Control)、音量正規化、ピークの制限などが含まれる。また、ポストプロセッシングは、プロセッサ120の出力オーディオ信号に対する周波数/時間ドメインの変換を含む。オーディオ信号処理装置100はポストプロセッシングを行う別途のポストプロセッシング部を含むが、他の実施例によると、ポストプロセッシング部はプロセッサ120に含まれてもよい。
出力部130は、出力オーディオ信号を出力する。出力部130は、プロセッサ120によって生成された出力オーディオ信号を出力する。出力部130は少なくとも一つの出力チャネルを含む。ここで、出力オーディオ信号は聴取者の両耳にそれぞれ対応する2チャネル出力オーディオ信号である。出力オーディオ信号は、バイノーラル2チャネル出力オーディオ信号である。出力部130は、プロセッサ120によって生成された3Dオーディオヘッドホン信号を出力する。
一実施例によって、出力部130はオーディオ信号を出力する出力手段を備える。例えば、出力部130は出力オーディオ信号を外部に出力する出力手段を含む。この際、オーディオ信号処理装置100は、出力端子に連結された外部装置に出力オーディオ信号を出力する。または、出力部130は、出力オーディオ信号を外部に出力する無線オーディオ信号受信モジュールを含んでもよい。この場合、出力部130は、ブルートゥース(登録商標)またはワイファイのような無線通信方法を利用して外部装置に出力オーディオ信号を出力する。または、出力部130はスピーカを含む。この際、オーディオ信号処理装置100は、スピーカを介して出力オーディオ信号を出力する。また、出力部130は、デジタルオーディオ信号をアナログオーディオ信号に変換するコンバータ(例えば、digital−to−analog converter、DAC)を追加に含んでもよい。
本開示の一実施例によって、オーディオ信号処理装置100が上述したHRTFのようなバイノーラル伝達関数を利用して入力オーディオ信号をバイノーラルレンダリングすれば、入力オーディオ信号対比出力オーディオ信号の音色が歪曲する恐れがある。周波数ドメインンでバイノーラルレンダリングの大きさ成分が一定ではないためである。
例えば、バイノーラル伝達関数は、聴取者を基準に仮想の音源の位置を識別させるバイノーラルキュー(binaural cue)を含んでもよい。詳しくは、バイノーラルキューは、両耳間のレベル差、両耳間の位相差、スペクトラルエンベロープ(spectral envelope)、ノッチ(notch)成分、及びピーク(peak)成分を含む。この際、バイノーラル伝達関数のノッチ成分及びピーク成分によって音色保存性能が低下する恐れがある。ここで、音色保存性能は、入力オーディオ信号の音色が出力オーディオ信号で保存される程度を指す。
特に、入力オーディオ信号の対応する仮想の音源の位置が聴取者を基準にする水平平面(horizontal plane)から遠くなるほど(例えば、仰角(elevation)が大きくなるほど)、音色の変化が増加する。本開示の一実施例によって、オーディオ信号処理装置100は、フラット応答を利用してバイノーラルレンダリング過程で発生する音色歪曲を緩和する。
以下では、本開示の一実施例によるオーディオ信号処理装置100がフラット応答を利用して出力オーディオ信号を生成する方法について説明する。
一実施例によって、オーディオ信号処理装置100は、第1伝達関数の対及び少なくとも一つのフラット応答に基づいて入力オーディオ信号をフィルタリングして出力オーディオ信号を生成する。この際、オーディオ信号処理装置100は、聴取者を基準に入力オーディオ信号に対応する仮想の音源の位置に基づいて第1伝達関数の対を獲得する。例えば、第1伝達関数の対は、入力オーディオ信号に対応する仮想の音源から聴取者までの経路に対応する伝達関数の対であってもよい。詳しくは、第1伝達関数の対は、入力オーディオ信号に対応する仮想の音源の位置に対応する一対のHRTFである。第1伝達関数の対は第1伝達関数を含む。
また、オーディオ信号処理装置100は、周波数ドメインで一定な大きさの値を有する少なくとも一つのフラット応答を獲得する。例えば、オーディオ信号処理装置100は、外部装置から少なくとも一つのフラット応答を受信してもよい。または、オーディオ信号処理装置100は少なくとも一つのフラット応答を生成してもよい。ここで、少なくとも一つのフラット応答は、同側の出力チャネルに対応する同側のフラット応答、及び対側の出力チャネルに対応する対側のフラット応答を含む。または、少なくとも一つのフラット応答は、単一の出力チャネルに対応する複数のフラット応答を含んでもよい。この際、オーディオ信号処理装置100は、周波数領域を分割し、それぞれの分割された周波数領域別に異なるフラット応答を利用する。
例えば、オーディオ信号処理装置100は、バイノーラル伝達関数に基づいてフラット応答を生成してもよい。または、一実施例によって、オーディオ信号処理装置100は、パニングゲインに基づいてフラット応答を生成してもよい。オーディオ信号処理装置100は、パニングゲインをフラット応答として使用する。オーディオ信号処理装置100は、第1伝達関数の対及びパニングゲインに基づいて出力オーディオ信号を生成する。例えば、オーディオ信号処理装置100は、聴取者を基準に入力オーディオ信号に対応する仮想の音源の位置に基づいてパニングゲインを決定してもよい。また、オーディオ信号処理装置100は、パニングゲインを周波数ドメインにおける一定な大きさの値にするフラット応答を生成する。オーディオ信号処理装置100がパニングゲインを決定する方法については、後述する図4及び図5に関して詳しく説明する。
一実施例によって、オーディオ信号処理装置100は、第1伝達関数の対及び少なくとも一つのフラット応答に基づいて入力オーディオ信号をフィルタリングする第2伝達関数の対を生成する。第2伝達関数の対は第2伝達関数を含む。例えば、オーディオ信号処理装置100は、第1伝達関数と少なくとも一つのフラット応答を加重合計して第2伝達関数を生成してもよい。ここで、加重合計とは、加重合計の対象それぞれに対して加重パラメータを適用して足すことを意味する。
詳しくは、オーディオ信号処理装置100は、第1伝達関数と少なくとも一つのフラット応答を周波数ピン別に加重合計して第2伝達関数を生成する。例えば、オーディオ信号処理装置100は、第1伝達関数の大きさ成分とフラット応答の大きさ成分を周波数ビン別に加重合計して第2伝達関数を生成してもよい。また、オーディオ信号処理装置100は、生成された第2伝達関数に基づいて入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。
一実施例によって、オーディオ信号処理装置100は、加重パラメータを利用して第2伝達関数に第1伝達関数が反映される程度を決定する。オーディオ信号処理装置100は、加重パラメータに基づいて第1伝達関数とフラット応答を加重合計して第2伝達関数を生成する。
例えば、加重パラメータは、第1伝達関数に適用される第1加重パラメータ。及びフラット応答に適用される第2加重パラメータを含んでもよい。この際、オーディオ信号処理装置100は、第1加重パラメータ及び第2加重パラメータに基づき、第1伝達関数とフラット応答を加重合計して第2伝達関数を生成する。詳しくは、オーディオ信号処理装置100は、第1伝達関数に第1加重パラメータ「0.6」を適用し、フラット応答に第2加重パラメータ「0.4」を適用して第2伝達関数を生成する。この際、オーディオ信号処理装置100が加重パラメータを決定する方法については、後述する図3を介して詳しく説明する。オーディオ信号処理装置100は、加重合計を介して生成された第2伝達関数の対に基づき、入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。
一実施例によって、オーディオ信号処理装置100は、周波数領域別に異なるフラット応答を利用して第2伝達関数を生成する。例えば、オーディオ信号処理装置100は、第1フラット応答及び第2フラット応答を含む複数のフラット応答を生成してもよい。この場合、オーディオ信号処理装置100は、第1周波数帯域で第1伝達関数及び第1フラット応答を加重合計し、第2周波数帯域で第1伝達関数及び第2フラット応答を加重合計して第2伝達関数を生成する。
一実施例によって、オーディオ信号処理装置100は、それぞれの周波数に対応する第1伝達関数の位相成分と同じ位相成分を有する第2伝達関数を生成する。この際、位相成分は、周波数ドメインでそれぞれの周波数に対応する伝達関数の位相値を含む。例えば、オーディオ信号処理装置100は、第1伝達関数及びフラット応答のそれぞれの大きさ成分に対してのみ加重合計して第2伝達関数を生成してもよい。これを介し、オーディオ信号処理装置100は、第1伝達関数の対が含む同側の第1伝達関数と対側の第1伝達関数の両耳間位相差(Interaural Phase Difference、IPD)を維持する第2伝達関数の対を生成する。この際、両耳間位相差は、仮想の音源から聴取者の両耳それぞれに音響が伝達される時間差を示す両耳間時間差(Interaural Time Difference、ITD)に対応する特性である。
他の一実施例において、オーディオ信号処理装置100は、入力オーディオ信号を第1伝達関数及び少なくとも一つのフラット応答それぞれでフィルタリングして、複数の中間オーディオ信号を生成する。この場合、オーディオ信号処理装置100は、複数の中間オーディオ信号をチャネル別に合成して出力オーディオ信号を生成する。詳しくは、オーディオ信号処理装置100は、第1伝達関数に基づいて入力オーディオ信号をバイノーラルレンダリングして第1中間オーディオ信号を生成する。また、オーディオ信号処理装置100は、少なくとも一つのフラット応答に基づいて入力オーディオ信号をフィルタリングして第2中間オーディオ信号を生成する。次に、オーディオ信号処理装置100は、第1中間オーディオ信号及び第2中間オーディオ信号をミキシングして出力オーディオ信号を生成する。
以下では、本開示の一実施例によってオーディオ信号処理装置100がバイノーラル伝達関数に基づいてフラット応答を生成する方法について説明する。
一実施例によって、オーディオ信号処理装置100は、第1伝達関数の少なくとも一部分に基づいて少なくとも一つのフラット応答を生成する。この際、オーディオ信号処理装置100は、少なくとも一部の周波数に対応する第1伝達関数の大きさ成分に基づいてフラット応答を決定する。この際、伝達関数の大きさ成分は、周波数ドメインでの大きさ成分を示す。また、大きさ成分は、伝達関数の周波数ドメインでの大きさの値にlogを取ってデシベル(decibel)単位に変換された大きさを含む。
例えば、オーディオ信号処理装置100は、第1伝達関数の大きさ成分の平均値をフラット応答として使用してもよい。この際、フラット応答は[数1]及び[数2]のように表現される。[数1]及び[数2]において、ave_H_l及びave_H_rは、それぞれ左側及び右側のフラット応答を意味する。[数1]及び[数2]において、abs(H_l(k))は周波数ドメインにおいて左側の第1伝達関数の周波数ビン別の絶対値を示し、abs(H_r(k))は周波数ドメインにおいて右側の第1伝達関数の周波数ビン別の絶対値を示す。[数1]及び[数2]において、mean(x)は関数「x」の平均を示す。また、[数1]及び[数2]において、kは周波数ビンの番号(frequency bin number)を意味し、NはFFTのポイント数を示す。オーディオ信号処理装置100は、左側及び右側のフラット応答に基づき、それぞれ聴取者の左側/右側耳にそれぞれ対応する出力オーディオ信号を生成する。
[数1]
ave_H_l=mean(abs(H_l(k)))
ave_H_r=mean(abs(H_r(k)))
ここで、kは0≦k≦N/2である整数
[数2]
ave_H_l=mean(20*log10(abs(H_l(k))))
ave_H_r=mean(20*log10(abs(H_r(k))))
ここで、kは0≦k≦N/2である整数
[数1]及び[数2]の実施例において、kは0〜N/2範囲の周波数ビンであるが、本開示はこれに限らない。例えば、kは、後述する実施例によって、全体の0〜N/2内で少なくとも一部の範囲の周波数ビンであってもよい。
[数1]及び[数2]とは異なって、オーディオ信号処理装置100は、第1伝達関数の大きさ成分の中央値(median)をフラット応答として使用してもよい。または、オーディオ信号処理装置100は、周波数ドメインで一部の周波数ビンに対応する第1伝達関数の大きさ成分の平均値または中央値をフラット応答として使用してもよい。この際、オーディオ信号処理装置100は、フラット応答を決定するために利用される周波数ビンを決定する。
例えば、オーディオ信号処理装置100は、第1伝達関数の大きさ成分に基づいてフラット応答を決定するために使用される周波数ビンを決定してもよい。オーディオ信号処理装置100は、第1伝達関数の大きさ成分のうち、予め設定された範囲に含まれる大きさを有する一部の周波数ビンを決定する。また、オーディオ信号処理装置100は、一部の周波数ビンそれぞれに対応する第1伝達関数の大きさ成分に基づいてフラット応答を決定する。この際、予め設定された範囲は、第1伝達関数の最大大きさの値、最小大きさの値、または中間値のうち少なくとも一つに基づいて決定される。または、オーディオ信号処理装置100は、第1伝達関数と共に獲得した情報に基づき、フラット応答を決定するために使用される周波数ビンを決定してもよい。
また、オーディオ信号処理装置100は、上述した実施例に基づいて生成されたフラット応答及び第1伝達関数の対に基づいて出力オーディオ信号を生成する。
一方、一実施例によって、オーディオ信号処理装置100は、同側及び対側のフラット応答を独立に生成する。オーディオ信号処理装置100は、第1伝達関数の対が含む伝達関数それぞれに基づいてフラット応答を生成する。例えば、第1伝達関数の対は、同側の第1伝達関数及び対側の第1伝達関数を含んでもよい。オーディオ信号処理装置100は、同側の第1伝達関数の大きさ成分に基づいて同側のフラット応答を生成する。また、オーディオ信号処理装置100は、対側の第1伝達関数の大きさ成分に基づいて対側のフラット応答を生成する。次に、オーディオ信号処理装置100は、同側の第1伝達関数及び同側のフラット応答に基づいて同側の第2伝達関数を生成する。また、オーディオ信号処理装置100は、対側の第1伝達関数及び対側のフラット応答に基づいて対側の第2伝達関数を生成する。次に、オーディオ信号処理装置100は、同側の第2伝達関数及び対側の第2伝達関数に基づいて出力オーディオ信号を生成する。これを介し、オーディオ信号処理装置100は、同側の第1伝達関数と対側の第1伝達関数との間の両耳間レベル差(Interaural Level Difference、ILD)を反映する第2伝達関数の対を生成する。
図2は、本開示の一実施例による第1伝達関数21、第2伝達関数22、及びフラット応答の20の周波数応答を示す。
図2の実施例において、オーディオ信号処理装置100は、第1伝達関数21及びフラット応答20に基づいて第2伝達関数22を生成する。図2は、フラット応答20、第1伝達関数21、及び第2伝達関数22それぞれの周波数ドメインでの大きさ成分を示す。ここで、フラット応答20は第1伝達関数21の大きさ成分の平均値である。上述したように、オーディオ信号処理装置100は、第1伝達関数21に適用される第1加重パラメータ及びフラット応答20に適用される第2加重パラメータに基づいて第2伝達関数22を生成する。
図2において、第2伝達関数22は、第1伝達関数に第1加重パラメータ「0.5」を適用し、フラット応答20に第2加重パラメータ「0.5」を適用して加重合計した結果を示す。図2を参照すると、オーディオ信号処理装置100は、第1伝達関数21に比べ急激なスペクトル変化が緩和された第2伝達関数22を提供する。また、オーディオ信号処理装置100は、第2伝達関数22を利用してバイノーラルレンダリングされた第2出力オーディオ信号を生成する。この際、オーディオ信号装置100は、第1伝達関数21を利用してバイノーラルレンダリングされた第1出力オーディオ信号に比べ歪曲が減少された第2オーディオ信号を提供する。
また、図2を参照すると、第2伝達関数22の周波数応答の形態は第1伝達関数21の周波数応答の形態と類似している。これを介し、オーディオ信号装置100は、第1伝達関数21を介して表現される仮想の音源の高度感を維持しながら、音色歪曲が減少された第2出力オーディオ信号を提供する。
一方、オーディオ信号処理装置100がフラット応答を利用して入力オーディオ信号対比出力オーディオ信号の音色歪曲を緩和すれば、音相定位性能が減少する恐れがある。ここで、音相定位性能とは、聴取者を基準にする3次元空間で仮想の音源の位置が表現される程度を意味する。バイノーラル伝達関数をフラット応答と加重合計すれば、バイノーラル伝達関数のバイノーラルキューが減少するためである。上述したように、バイノーラルキューは、バイノーラル伝達関数のノッチ成分及びピーク成分を含む。図2に示したように、オーディオ信号処理装置100はノッチ成分及びピーク成分が第1伝達関数21に比べ減少された第2伝達関数22を生成する。この際、フラット応答20に適用される加重パラメータの値が第1伝達関数21に適用される加重パラメータの値に比べ大きくなるほど、第2伝達関数22のバイノーラルキューが減少される。
本開示の一実施例によって、オーディオ信号処理装置100は、求められる音相定位性能または音色保存性能に基づいて加重パラメータを決定する。以下では、本開示の一実施例によるオーディオ信号処理装置100が加重パラメータを利用して第2伝達関数の対を生成する方法について、図3を参照して説明する。
図3は、本開示の一実施例によるオーディオ信号処理装置が100第1伝達関数の対に基づいて第2伝達関数の対を生成する方法を示すブロック図である。
図3を参照すると、ステップS301において、オーディオ信号処理装置100は、聴取者を基準に入力オーディオ信号に対応する仮想の音源の位置を決定する。例えば、オーディオ信号処理装置100は、入力オーディオ信号に対応する仮想の音源の位置情報及び聴取者の頭の動作情報(head movement information)に基づいて、聴取者を基準にする仮想の音源の相対的な位置θ、Φを決定する。この際、入力オーディオ信号に対応する仮想の音源の相対的な位置は、仰角θ及び方位角(azimuth)Φで表現される。
ステップS302において、オーディオ信号処理装置100は第1伝達関数の対Hr、Hlを獲得する。オーディオ信号処理装置100は、聴取者を基準に入力オーディオ信号に対応する仮想の音源の位置に基づいて第1伝達関数の対Hr、Hlを獲得する。この際、第1伝達関数の対Hr、Hlは、右側の第1伝達関数Hrと左側の第1伝達関数Hlを含む。オーディオ信号処理装置100は、上述したように、複数の伝達関数を含むデータベースHRTFDBから第1伝達関数の対Hr、Hlを獲得する。
ステップS303において、オーディオ信号処理装置100は、右側の第1伝達関数Hr及び左側の第1伝達関数Hlそれぞれの大きさ成分に基づき、右側のフラット応答及び左側のフラット応答を生成する。図3に示したように、オーディオ信号処理装置100は、右側の第1伝達関数Hrの大きさ成分の平均値を利用して右側のフラット応答を生成する。また、オーディオ信号処理装置100は、左側の第1伝達関数Hlの大きさ成分の平均値を利用して左側のフラット応答を生成する。オーディオ信号処理装置100は、右側及び左側のフラット応答を独立に生成する。オーディオ信号処理装置100は、右側の第1伝達関数Hrと左側の第1伝達関数Hlとの間の両耳間レベル差ILDを反映する第2伝達関数の対を生成する。
ステップS304において、オーディオ信号処理装置100は、入力オーディオ信号をフィルタリングする第2伝達関数の対Hr_hat、Hl_hatを生成する。第2伝達関数の対Hr_hat、Hl_hatは、右側の第2伝達関数Hr_hatと左側の第2伝達関数Hl_hatを含む。例えば、オーディオ信号処理装置100は、第1伝達関数と少なくとも一つのフラット応答を加重合計して第2伝達関数を生成してもよい。オーディオ信号処理装置100は、ステップS302で獲得した右側の第1伝達関数HrとステップS303で生成された右側のフラット応答を加重合計して、右側の第2伝達関数Hr_hatを生成する。また、オーディオ信号処理装置100は、左側の第1伝達関数Hlと左側のフラット応答を加重合計して、左側の第2伝達関数Hl−hatを生成する。
一実施例によって、オーディオ信号処理装置100は、バイノーラル効果強度情報に基づいて加重パラメータを決定する。ここで、バイノーラル効果強度情報とは、音色保存性能対比音相定位性能を示す教法である。例えば、入力オーディオ信号が高音質が求められるオーディオ信号を含めば、バイノーラルレンダリング強度は弱くなる。高音質が求められるオーディオ信号を含むコンテンツの場合、音色保存性能が音相定位性能に比べ重量になり得るためである。逆に、入力オーディオ信号が高い音相定位性能が求められるオーディオ信号を含めば、バイノーラルレンダリング強度は強くなる。
一実施例によって、オーディオ信号処理装置100は、入力オーディオ信号に対応するバイノーラル効果強度情報を獲得する。例えば、オーディオ信号処理装置100は、入力オーディオ信号に対応するメタデータを受信してもよい。この際、メタデータはバイノーラル効果強度を示す情報を含む。または、オーディオ信号処理装置100は、入力オーディオ信号に対応するバイノーラル効果強度情報を示すユーザ入力を受信してもよい。
一実施例によって、オーディオ信号処理装置100は、バイノーラル効果強度情報に基づき、第1伝達関数に適用される第1加重パラメータ及びフラット応答に適用される第2加重パラメータを決定する。また、オーディオ信号処理装置100は、第1加重パラメータ及び第2加重パラメータに基づき、第1伝達関数とフラット応答を加重合計して第2伝達関数を生成する。
一実施例によって、バイノーラル効果強度情報は、バイノーラルレンダリングが適用されていないことを示す。この際、オーディオ信号処理装置100は、バイノーラル効果強度情報に基づき、第1伝達関数に適用される第1加重パラメータを「0」と決定する。また、オーディオ信号処理装置100は、フラット応答と同じ第2伝達関数に基づいて入力オーディオ信号をレンダリングして出力オーディオ信号を生成する。
また、バイノーラル効果強度情報は、バイノーラルレンダリングが適用程度を示す。詳しくは、バイノーラル効果強度情報は量子化されたレベルに区分される。バイノーラル効果強度情報は、1〜10ステップに区分される。この際、オーディオ信号処理装置100は、バイノーラル効果強度情報に基づいて加重パラメータを決定する。
具体的な実施例によって、オーディオ信号処理装置100は、入力オーディオ信号に対応するバイノーラル効果強度として「8」を示すメタデータを受信する。また、オーディオ信号処理装置100は、バイノーラル効果強度の全体のステップが1〜10ステップに区分されていることを示す情報を獲得する。この際、オーディオ信号処理装置100は、第1伝達関数に適用される第1加重パラメータを「0.8」と決定する。また、オーディオ信号処理装置100は、フラット応答に適用される第2加重パラメータを「0.2」と決定する。この際、第1及び第2加重パラメータの合計は予め設定された値である。例えば、第1及び第2加重パラメータの合計は「1」であってもよい。オーディオ信号処理装置100は、決定された第1及び第2加重パラメータに基づいて第22伝達関数を生成する。
図3を参照すると、ステップS304の「α」(alpha)は、フラット応答とバイノーラル伝達関数を加重合計するために利用される加重パラメータの一実施例である。オーディオ信号処理装置100は、「α」を0〜1の間の値と決定する。この際、オーディオ信号処理装置100は、「α」に基づいて第2伝達関数を生成する。第2伝達関数の対H_l_hat、H_r_hatは、[数3]のように表現される。[数3]において、ave_H_l及びave_H_rは、それぞれ左側及び右側のフラット応答を意味する。[数3]において、abs(H_l(k))は周波数ドメインにおいて左側の第1伝達関数の周波数ビン別の絶対値を示し、abs(H_r(k))は周波数ドメインにおいて右側の第1伝達関数の周波数ビン別の絶対値を示す。[数3]において、phase(H_l(k))は周波数ドメインにおいて左側の第1伝達関数の周波数ビン別の位相値を示し、phase(H_r(k))は周波数ドメインにおいて右側の第1伝達関数の周波数ビン別の位相値を示す。また、[数3]において、kは周波数ビンの番号を示す。
[数3]
H_r_hat(k)=(α*ave_H_r+(1−α)abs(H_r(k)))*phase(H_r(k))
H_l_hat(k)=(α*ave_H_l+(1−α)abs(H_l(k)))*phase(H_l(k))
ここで、kは0≦k≦N/2である整数
[数3]において、右側の第2伝達関数H_r_hat及び左側の第2伝達関数H_l_hatそれぞれの位相成分は、上述したように、右側の第1伝達関数H_rの位相成分phase(H_r(k))及び左側の第1伝達関数H_lの位相成分phase(H_r(k))それぞれと同じである。
一実施例によって、オーディオ信号処理装置100は、入力オーディオ信号に対応するバイノーラル効果強度情報に基づいて加重パラメータ「α」を決定する。例えば、[数3]において、オーディオ信号処理装置100は、入力オーディオ信号に対応するバイノーラル効果強度が大きいほど「α」を小さい値に決定してもよい。
一実施例によって、「α」が0に近ければ、オーディオ信号処理装置100は音色保存性能に比べ音相定位性能が優秀な出力オーディオ信号を生成する。「α」が0であれば、第2伝達関数は第1伝達関数と同じである。
他の実施例によって、「α」が1に近ければ、オーディオ信号処理装置100は音相定位性能に比べ音色保存性能が優秀な出力オーディオ信号を生成する。「α」が1であれば、バイノーラルレンダリングが適用されていないことを示す。
ステップS305において、オーディオ信号処理装置100は、第2伝達関数の対Hr_hat、Hl_hatに基づいて入力オーディオ信号をフィルタリングして出力オーディオ信号Br、Blを生成する。
一方、本開示の一実実施例によって、オーディオ信号処理装置100は、加重パラメータを利用してバイノーラル効果強度による複数のバイノーラル伝達関数を提供する。例えば、オーディオ信号処理装置100は、第1伝達関数の対及びフラット応答に基づいて複数の第2伝達関数の対を生成してもよい。複数の第2伝達関数の対は、第1適用強度に対応する伝達関数の対及び第2適用強度に対応する伝達関数の対を含む。この際、第1適用強度及び第2適用強度は、伝達関数の対を生成する際に第1伝達関数の対に適用された互いに異なる加重パラメータを示す。
図3の実施例において、オーディオ信号処理装置100は、加重パラメータに基づいて第2伝達関数を生成すると記載されているが、本開示の他の一実施例によって、オーディオ信号処理装置100は、加重パラメータに基づいて直ちに出力オーディオ信号を生成してもよい。
例えば、オーディオ信号処理装置100は、ステップS302で獲得した第1伝達関数に基づいて入力オーディオ信号をバイノーラルレンダリングして第1中間オーディオ信号を生成してもよい。また、オーディオ信号処理装置100は、ステップS303で獲得したフラット応答に基づいて入力オーディオ信号をフィルタリングして第2中間オーディオ信号を生成してもよい。次に、オーディオ信号処理装置100は、ステップS304の加重パラメータ「α」に基づき、第1中間オーディオ信号及び第2中間オーディオ信号をミキシングして出力オーディオ信号を生成する。ここで、加重パラメータは、出力オーディオ信号に反映される前記第1中間信号と前記第2中間信号と間の割合を示すミキシングゲインとして使用される。
具体的な実施例において、オーディオ信号処理装置100は、入力信号に対応するバイノーラル効果強度情報に基づいて、第1伝達関数に適用される第1ミキシングゲイン及び前記少なくとも一つのフラット応答に適用される第2ミキシングゲインを決定する。この際、オーディオ信号処理装置100は、ステップS304で説明した第1加重パラメータ及び第2加重パラメータを決定する方法と同じであるかまたは相応する方法で、第1ミキシングゲイン及び第2ミキシングゲインを決定する。
一方、オーディオ信号処理装置100が第1伝達関数の対及びフラット応答に基づいて第2伝達関数の対を生成すれば、第2伝達関数の対が含む第2伝達関数のエネルギーレベルが変形される。例えば、フラット応答のエネルギーレベルと第1伝達関数の対に含まれた第1伝達関数のエネルギーレベルとの間の差が大きいほど、エネルギーレベルが大きく変形される。この場合、第2伝達関数のエネルギーレベルの変化によって、出力オーディオ信号のエネルギーレベルが入力オーディオ信号のエネルギーレベルに比べ過度に変形される。例えば、出力オーディオ信号は入力オーディオ信号に比べ過度に大きいか小さいエネルギーレベルで聴取者に聴取される恐れがある。
以下では、本開示の一実施例によるオーディオ信号処理装置100がエネルギー補償処理された第2伝達関数の対を生成する方法について説明する。
一実施例によって、オーディオ信号処理装置100は、第2伝達関数の対が含む伝達関数のエネルギーの合計が第1伝達関数の対が含む伝達関数のエネルギーの合計と同じになるように設定する。詳しくは、オーディオ信号処理装置100は、第1伝達関数の対が含む伝達関数のエネルギー合計対比第2伝達関数の対が含む伝達関数のエネルギー合計を、エネルギー補償するためのゲイン「β」(beta)と決定する。この際、「β」は[数4]のように表現される。[数4]において、abs(x)は周波数ドメインにおける伝達関数「x」の周波数ビン別の絶対値を示す。[数4]において、mean(x)は関数「x」の平均を示す。また、[数4]において、kは周波数ビンの番号を示し、NはFFTのポイント数を示す。
[数4]
β=(mean(abs(H_l(k)))+mean(abs(H_r(k))))/(mean(abs(H_l_hat(k)))+mean(abs(H_r_hat(k))))
または
β=(mean(20*log10(abs(H_l(k))))+mean(20*log10(abs(H_r(k)))))/(mean(20*log10(abs(H_l_hat(k))))+mean(20*log10(abs(H_r_hat(k)))))
ここで、kは0≦k≦N/2である整数
また、[数5]を参照すると、オーディオ信号処理装置100は、[数3]で獲得した右側の第2伝達関数H_r_hat及び左側の第2伝達関数H_l_hat、及びエネルギー補償のためのゲイン「β」に基づき、エネルギー補償処理された右側の第2伝達関数H_r_hat2及び左側の第2伝達関数H_l_hat2を獲得する。[数5]において、kは周波数ビンの番号を示す。
[数5]
H_r_hat2(k)=β*H_r_hat(k)
H_l_hat2(k)=β*H_l_hat(k)
ここで、kは0≦k≦N/2である整数
一方、上述したように、図1乃至図3を介して説明したフラット応答は、パニングゲインを使用して生成される。以下では、本開示の一実施例によるオーディオ信号処理装置100がパニングゲインを決定する方法について、図4及び図5を参照して説明する。
図4は、ラウドスピーカ環境において、オーディオ信号処理装置100がパニングゲインを決定する方法を示す図である。
図4を参照すると、オーディオ信号処理装置100は、2つのラウドスピーカ(loud speaker)401、402が配置された位置を利用して、2つのラウドスピーカの間401、402に仮想の音源を位置(localization)させる。この際、オーディオ信号処理装置100は、パニングゲインを利用して仮想の音源を位置させる。
図4に示したように、オーディオ信号処理装置100は、聴取者の位置(例えば、図4の「O」)を中心に2つのラウドスピーカ401、402がそれぞれ位置された地点の間の角度を利用して、2つのラウドスピーカ401、402の間に仮想の音源400を位置させる。例えば、オーディオ信号処理装置100は、2つのラウドスピーカ401、402の間の角度に基づき、入力オーディオ信号に対応する仮想の音源400を位置させるためのパニングゲインを獲得する。オーディオ信号処理装置100は、パニングゲインに基づいて2つのラウドスピーカから出力される出力オーディオ信号を介し、聴取者に仮想の音源からオーディオ信号が出力される音響効果を提供する。
図4を参照すると、オーディオ信号処理装置100は、第1ラウドスピーカ401と第2ラウドスピーカ402の中央の対称軸を基準に、θpに当たる位置に仮想の音源400を位置させる。この際、オーディオ信号処理装置100は、第1ラウドスピーカ401及び第2ラウドスピーカ402の出力を介し、聴取者がθpに位置された仮想の音源400から音響が伝達されると表現されるオーディオ信号を提供する。
詳しくは、オーディオ信号処理装置100は、θpの位置に仮想の音源400を位置させるためのパニングゲインg1及びg2を決定する。この際、パニングゲインg1及びg2は、第1ラウドスピーカ401及び第2ラウドスピーカ402それぞれに適用される。オーディオ信号処理装置100は、一般的なパニングゲインの獲得方法を利用してパニングゲインg1及びg2を決定する。例えば、オーディオ信号処理装置100は、リニアパニング(linear panning)方法またはコンスタントパワーパニング(constant power panning)方法を利用して、パニングゲインg1及びgを決定する。
本開示の一実施例によって、オーディオ信号処理装置100は、ラウドスピーカ環境で利用されるパニングゲインをヘッドホン環境に適用する。例えば、聴取者のヘッドホンの左側の出力チャネル及び右側の出力チャネルそれぞれを、第1ラウドスピーカ401及び第2ラウドスピーカ402それぞれに対応させてもよい。この際、ヘッドホンの左側の出力チャネル及び右側の出力チャネルそれぞれに対応する第1ラウドスピーカ410及び第2ラウドスピーカ402が、対称軸を基準に左右側90度(つまり、−90度及び+90度)に当たる位置にあると仮定する。例えば、第1出力チャネル(例えば、ヘッドホンの左側の出力チャネル)は対称軸を基準に左側90度に位置し、第2出力チャネル(例えば、ヘッドホンの右側の出力チャネル)は対称軸を基準に右側90度に位置してもよい。
一実施例によって、オーディオ信号処理装置100は、聴取者を基準に入力オーディオ信号に対応する仮想の音源400の位置に基づいて、第1パニングゲインg1及び第2パニングゲインg2を決定する。この際、オーディオ信号処理装置100は、同じ位置情報に基づいて第1伝達関数の対及びパニングゲインを獲得する。第1パニングゲインg1、第2パニングゲインg2、及び第1伝達関数の対が含むそれぞれの伝達関数は、同じ位置情報に基づいて獲得されるそれぞれのフィルタ係数のセットである。ここで、フィルタ係数のセットは、フィルタの特性を示す少なくとも一つのフィルタ係数を含む。例えば、オーディオ信号処理装置100は、同じ位置情報に基づいて異なる特性を有するそれぞれのフィルタ係数のセットを獲得してもよい。一方、第1パニングゲインg1及び第2パニングゲインg2は、第1出力チャネルと第2出力チャネルと間のθp位置に仮想の音源400を位置させるためのパニングゲインである。
一実施例によって、オーディオ信号処理装置100は、第1伝達関数の対及びパニングゲインに基づいて出力オーディオ信号を生成する。ここで、第1伝達関数の対及びパニングゲインに基づいて出力オーディオ信号を生成する方法には、上述した第1伝達関数の対及び少なくとも一つのフラット応答に基づいて出力オーディオ信号を生成する実施例が適用される。
例えば、オーディオ信号処理装置100は、パニングゲインに基づいて少なくとも一つのフラット応答を生成する。例えば、オーディオ信号処理装置100は、第1パニングゲインg1に基づいて左側のフラット応答を生成してもよい。また、オーディオ信号処理装置100は、第2パニングゲインg2に基づいて右側のフラット応答を生成してもよい。
または、オーディオ信号処理装置100は、第1伝達関数及びパニングゲインに基づいて第2伝達関数を生成する。オーディオ信号処理装置100は、生成された左側のフラット応答及び左側の第1伝達関数に基づいて左側の第2伝達関数を生成する。オーディオ信号処理装置100は、生成された右側のフラット応答及び右側の第1伝達関数に基づいて右側の第2伝達関数を生成する。オーディオ信号処理装置100は、生成された左側の第2伝達関数及び右側の第2伝達関数に基づき、入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。
または、パニングゲインは、第1伝達関数に基づいて入力オーディオ信号をフィルタリングして生成された第1中間オーディオ信号とミキシングし、出力オーディオ信号を生成するためのフラット応答として使用される。オーディオ信号処理装置100は、パニングゲインに基づいて生成されたフラット応答で入力オーディオ信号をフィルタリングして第2中間オーディオ信号を生成する。また、オーディオ信号処理装置100は、第1中間オーディオ信号及び第2中間オーディオ信号をミキシングして出力オーディオ信号を生成する。
一実施例によって、オーディオ信号処理装置100は、コンスタントパワーパニング方法を介して第1パニングゲインg1及び第2パニングゲインg2を決定する。コンスタントパワーパニング方法とは、パニングゲインを適用した第1出力チャネル及び第2出力チャネルのパワーの合計が一定な方法を意味する。コンスタントパワーパニング方法を利用して決定されたパニングゲインg1及びg2は、[数6]のように表現される。
[数6]
g1=cos(p)
g2=sin(p)
ここで、
p=90*(θp−θ1)/(θ2−θ1)
例えば、θ1、θ2がそれぞれ−90度及び90度であれば、θ1とθ2との間の任意の(arbitary)角度θpは、−90度〜90度の間の値を有する。この際、θpが−90度〜90度であれば、pは[数6]によって0〜90度の間の値になる。pは、θ1とθ2との間のθpに位置する仮想の音源に対応する正数の第1パニングゲインg1及び第2パニングゲインg2を算定するためにθpから換算された値である。
[数6]の実施例において、オーディオ信号処理装置100は、第1出力チャネル及び第2出力チャネルそれぞれに対して適用されるパニングゲインを決定するためにコンスタントパワーパニング方法を利用しているが、オーディオ信号処理装置100がパニングゲインを決定する方法はこれに限らない。
一方、本開示の一実施例によって、オーディオ信号処理装置100は、両耳間極座標系(Interaural Polar Coordinate、IPC)を利用してパニングゲインを決定する。例えば、オーディオ信号処理装置100は、両耳間極座標系で仮想の音源の位置を示す両耳間極座標に基づいてパニングゲインを決定してもよい。また、オーディオ信号処理装置100は、両耳間極座標に基づいて決定されたパニングゲインを利用して、図1乃至図3を介して説明した方法で出力オーディオ信号を生成する。以下では、本開示の一実施例によるオーディオ信号処理装置100が両耳間極座標系を利用してパニングゲインを決定する方法について、図5を参照して説明する。
図5は、垂直極座標系(Vertical Polar Coordinate、VPC)及び両耳間極座標系を示す図である。図5を参照すると、入力オーディオ信号に対応するオブジェクト510は、垂直極座標系501において第1方位角551及び第1仰角541で表示される。また、入力オーディオ信号に対応するオブジェクト510は、両耳間極座標系502において第2方位角552及び第2仰角542で表示される。
一実施例によって、入力オーディオ信号に対応するオブジェクト510が垂直極座標系510の方位角を維持しながら、聴取者520の頭頂(z軸)に移動する。このような方式でオブジェクトが移動すれば、垂直極座標系において入力オーディオ信号に対応するオブジェクト510の位置を示す第1仰角541がθから90度に変化し、第1方位角551はΦに維持される。これとは異なって、前記のようなオブジェクト510の動きによって、両耳間極座標系502においてオブジェクト510の位置を示す両耳間極座標の第2方位角552は異なり得る。例えば、垂直極座標系において入力オーディオ信号に対応するオブジェクトの位置を示す第1仰角541がθから90度に変化すれば、両耳間極座標系502において入力オーディオ信号に対応するオブジェクトの位置を示す第2方位角552はΦから0度に変化する。この際、両耳間極座標系において、入力オーディオ信号に対応するオブジェクトの位置を示す第2仰角542は第1仰角541と同じである。
それによって、オブジェクト510が上述した方式で移動する状況において、垂直極座標の第1方位角551を使用してパニングゲインを決定すれば、パニングゲインが変化しないようになり、聴取者520は音相の移動を感知することができない。一方、オブジェクト510が上述した方式で移動する状況において、両耳間極座標の第2方位角552を使用してパニングゲインを決定すれば、聴取者520はパニングゲインの変化による音相の移動を感知することができる。この際、パニングゲインは、第2方位角552の変化による水平面上の左右移動を反映して決定される。オブジェクト510が聴取者520の頭頂に移動すれば、両耳間座標の第2方位角552が「0」に近くなるためである。
一実施例によって、オーディオ信号処理装置100は、両耳間極座標系を利用してパニングゲインを決定する。例えば、オーディオ信号処理装置100は、両耳間極座標系において入力オーディオ信号に対応する仮想の音源の位置を示す第2方位角552の値(Φ)及び第2仰角542の値(θ)を獲得する。詳しくは、オーディオ信号処理装置100は、第2方位角552の値(Φ)を含むメタデータを受信する。この際、メタデータは入力オーディオ信号に対応するメタデータである。また、オーディオ信号処理装置100は、獲得した第2方位角552の値(Φ)に基づいて、第1パニングゲインg1’及び第2パニングゲインg2’を決定する。第1パニングゲインg1’及び第2パニングゲインg2’は、[数7]のように表現される。
[数7]
g1’=cos(0.5*Φ+45)
g2’=sin(0.5*Φ+45)
一実施例によって、オーディオ信号処理装置100は、図3の実施例に用に入力オーディオ信号に対応する仮想の音源の位置情報及び聴取者の頭の動作情報を受信する。この場合、オーディオ信号処理装置100は、仮想の音源の位置情報及び聴取者の頭の動作情報に基づいて、聴取者を基準にする仮想の音源の相対的な位置を示す垂直極座標551、541、または両耳間極座標552、542を算出する。
詳しくは、図5を参照すると、オーディオ信号処理装置100は、オブジェクト510の位置に基づいて両耳間極座標系502のサジタル平面(sagittal planeまたはconstant azimuth plane)561を決定する。この際、サジタル平面561は、中央平面(median plane)560と平行な平面である。また、中央平面561は、水平平面と直角でありながら水平平面と同じ中心を有する平面である。オーディオ信号処理装置100は、中央平面560の中心を基準にサジタル平面561が水平平面と突き当たる地点570と中央平面560との間の角度を第2方位角552と決定する。これを介し、両耳間極座標系の第2方位角552の値は、上述した方式で移動するオブジェクト510の垂直極座標系上の第1仰角541の値の変化を反映する。
また、一実施例によって、オーディオ信号処理装置100は、両耳間極座標系ではない他の座標系から入力オーディオ信号に対応する仮想の音源の位置を示す座標を獲得してもよい。この場合、オーディオ信号処理装置100は、獲得した座標を両耳間極座標に変換する。ここで、両耳間極座標系ではない他の座標系は、垂直極座標系及び直交座標系を含む。例えば、図5を参照すると、オーディオ信号処理装置100は、垂直極座標系501から入力オーディオ信号に対応する仮想の音源の位置を示す垂直極座標551、541を獲得する。この場合、オーディオ信号処理装置100は、垂直極座標の第1方位角551の値及び第1仰角541の値を、両耳間極座標の第2方位角552の値及び第2仰角542の値に変換する。
また、オーディオ信号処理装置100は、決定された第2方位角552の値に基づいて、上述したパニングゲインg1’、g2’を決定する。例えば、オーディオ信号処理装置100は、上述したコンスタントパワーパニング方法またはリニアパニング方法を利用して、第2方位角552の値に基づいてパニングゲインg1’、g2’を決定してもよい。
また、オーディオ信号処理装置100は、第1伝達関数の対及び上述した方法を介して決定されたパニングゲインg1’、g2’に基づいて、入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。一実施例によって、オーディオ信号処理装置100は、第1伝達関数の対及び上述した方法を介して決定されたパニングゲインg1’、g2’を利用して、図1及び図4を介して説明した実施例と同じまたは相応する方法で出力オーディオ信号を生成する。
例えば、オーディオ信号処理装置100は、第1伝達関数の対及びパニングゲインg1’、g2’に基づいて第2伝達関数の対を生成してもよい。オーディオ信号処理装置100は、パニングゲインg1’、g2’に基づいて少なくとも一つのフラット応答を生成する。また、オーディオ信号処理装置100は、パニングゲインg1’、g2’のうちいずれか一つに基づいて生成されたフラット応答と第1伝達関数を加重合計して、第2伝達関数を生成する。この際、オーディオ信号処理装置100は、バイノーラル効果強度情報に基づいて決定された加重パラメータを利用する。また、オーディオ信号処理装置100は、第2伝達関数の対に基づいて出力オーディオ信号を生成する。
または、オーディオ信号処理装置100は、第1伝達関数の対及びパニングゲインg1’、g2’に基づいて入力オーディオ信号をフィルタリングし、複数の中間オーディオ信号を生成する。この場合、オーディオ信号処理装置100は、複数の中間オーディオ信号をチャネル別に合成して出力オーディオ信号を生成してもよい。
以下では、本開示の他の一実施例によるオーディオ信号処理装置100がパニングゲインを利用して入力オーディオ信号をレンダリングする方法について、図6を参照して説明する。
図6は、本開示の他の一実施例によってオーディオ信号処理装置が両耳間極座標系を利用して出力オーディオ信号を生成する方法を示す図である。例えば、オーディオ信号処理装置100がHRTFを使用しなければ、オーディオ信号処理装置100は図5で説明したパニングゲインを利用してインタラクティブレンダリングを行う。
一実施例によって、オーディオ信号処理装置100は、両耳間極座標の方位角θpanの値に基づいて出力オーディオ信号を生成する。例えば、オーディオ信号処理装置100は、[数7]で生成された第1パニングゲインg1’及び第2パニングゲインg2’に基づいて入力オーディオ信号をフィルタリングし、出力オーディオ信号B_l、B_rを生成してもよい。一実施例によって、オーディオ信号処理装置100が両耳間極座標ではない他の座標で表示される仮想の音源の位置を獲得してもよい。この場合、オーディオ信号処理装置100は、両耳間極座標ではない他の座標を両耳間極座標に変換する。例えば、オーディオ信号処理装置100は、図6に示したように、垂直極座標θ、Φを両耳間極座標に変換してもよい。
図7は、本開示の一実施例によるオーディオ信号処理装置100の動作方法を示すフローチャートである。
ステップS701において、オーディオ信号処理装置100は、入力オーディオ信号を受信する。ステップS702において、オーディオ信号処理装置100は、第1伝達関数の対及び少なくとも一つのフラット応答に基づいて入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成する。また、オーディオ信号処理装置100は、生成された出力オーディオ信号を出力する。
例えば、オーディオ信号処理装置100は、第1伝達関数及び少なくとも一つのフラット応答に基づいて第2伝達関数を生成してもよい。オーディオ信号処理装置100は、聴取者を基準に入力オーディオ信号に対応する仮想の音源の位置に基づいて第1伝達関数を獲得する。オーディオ信号処理装置100は、周波数ドメインで一定な大きさの値を有する少なくとも一つのフラット応答を生成する。詳しくは、オーディオ信号処理装置100は、第1伝達関数と少なくとも一つのフラット応答を加重合計して第2伝達関数を生成する。この際、オーディオ信号処理装置100は、入力オーディオ信号に対応するバイノーラル効果強度情報に基づき、第1伝達関数と少なくとも一つのフラット応答との間の加重合計に利用される加重パラメータを決定する。オーディオ信号処理装置100は、決定された加重パラメータに基づいて第2伝達関数を生成する。また、オーディオ信号処理装置100は、このように生成された第2伝達関数に基づいて出力オーディオ信号を生成する。
一実施例によって、オーディオ信号処理装置100は、加重パラメータに基づいて第1伝達関数の大きさ成分と少なくとも一つのフラット応答を周波数ビン別に加重合計して第2伝達関数を生成する。この際、周波数ドメインにおいて、各周波数ビンに対応する第2伝達関数の位相成分は第1伝達関数の位相成分と同じである。
一実施例によって、オーディオ信号処理装置100は、第1伝達関数の少なくとも一部分に基づいてのフラット応答を生成する。例えば、少なくとも一つのフラット応答は、少なくとも一部の周波数に対応する第1伝達関数の大きさ成分の平均値である。または、少なくとも一つのフラット応答は、少なくとも一部の周波数ビンに対応する第1伝達関数の大きさ成分の中央値である。
一実施例によって、オーディオ信号処理装置100は、第1伝達関数及びパニングゲインに基づいて出力オーディオ信号を生成する。例えば、オーディオ信号処理装置100は、第1伝達関数及びパニングゲインそれぞれに基づいて入力オーディオ信号をフィルタリングし、複数の中間オーディオ信号を生成する。また、オーディオ信号処理装置100は、複数の中間オーディオ信号をチャネル別にミキシングして出力オーディオ信号を生成する。または、オーディオ信号処理装置100は、パニングゲインに基づいて少なくとも一つのフラット応答を生成する。また、オーディオ信号処理装置100は、生成されたフラット応答及び第1伝達関数に基づいて第2伝達関数を生成する。
この場合、オーディオ信号処理装置100は、聴取者を基準に入力オーディオ信号に対応する仮想の音源の位置に基づいて前記パニングゲインを決定する。詳しくは、オーディオ信号処理装置100は、コンスタントパワーパニング方法を利用してパニングゲインを決定する。また、オーディオ信号処理装置100は、両耳間極座標を利用してパニングゲインを決定する。オーディオ信号処理装置100は、両耳間極座標の方位角の値に基づいてパニングゲインを決定する。一実施例によって、オーディオ信号処理装置100は、入力オーディオ信号に対応する仮想の音源の位置を示す垂直極座標を両耳間極座標に変化させる。また、オーディオ信号処理装置100は、変化された両耳間極座標の方位角の値に基づいてパニングゲインを決定する。この際、両耳間極座標系の方位角の値は、オブジェクトの移動による垂直極座標上の仰角の値の変化を反映する。
これまで本発明を具体的な実施例を介して説明したが、当業者であれば本発明の趣旨及び範囲を逸脱せずに修正、変更し得るはずである。つまり、本発明はオーディオ信号に対するバイノーラルレンダリングの実施について説明したが、本発明はオーディオ信号のみならず、ビデオ信号を含む多様なマルチメディア信号にも同じく適用及び拡張することができる。よって、本発明の詳細な説明及び実施例から本発明の属する技術分野に属する人が容易に類推し得るものは、本発明の権利範囲に属すると解析される。
100 オーディオ信号処理装置
110 受信部
120 プロセッサ
130 出力部

Claims (20)

  1. 入力オーディオ信号をレンダリングするオーディオ信号処理装置であって、
    前記入力オーディオ信号を受信する受信部と、
    前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成するプロセッサと、
    前記プロセッサによって生成された出力オーディオ信号を出力する出力部と、を含み、
    前記プロセッサは、
    聴取者を基準に前記入力オーディオ信号に対応する仮想の音源の位置に基づいて第1伝達関数(transfer function)を獲得し、
    周波数ドメインで一定な大きさの値(magnitude)を有する少なくとも一つのフラット応答を生成し、
    前記第1伝達関数及び前記少なくとも一つのフラット応答に基づいて第2伝達関数を生成し、
    前記生成された第2伝達関数に基づいて前記入力オーディオ信号をバイノーラルレンダリングして前記出力オーディオ信号を生成するオーディオ信号処理装置。
  2. 前記プロセッサは、
    前記第1伝達関数と前記少なくとも一つのフラット応答を加重合計(weighted sum)して前記第2伝達関数を生成する請求項1に記載のオーディオ信号処理装置。
  3. 前記プロセッサは、
    前記入力オーディオ信号に対応するバイノーラル効果強度情報に基づいて前記第1伝達関数と前記少なくとも一つのフラット応答との間の加重合計に利用される加重パラメータを決定し、
    前記決定された加重パラメータに基づいて前記第2伝達関数を生成する請求項2に記載のオーディオ信号処理装置。
  4. 前記第1伝達関数は周波数ドメインで大きさ成分を含み、
    前記プロセッサは、
    前記加重パラメータに基づいて前記大きさ成分と前記少なくとも一つのフラット応答を周波数ビン(frequency bin)別に加重合計して前記第2伝達関数を生成する請求項3に記載のオーディオ信号処理装置。
  5. 周波数ドメインにおいて、それぞれの周波数ビンに対応する前記第2伝達関数の位相成分は前記第1伝達関数の位相成分と同じである請求項1に記載のオーディオ信号処理装置。
  6. 前記プロセッサは、
    前記聴取者を基準に、前記入力オーディオ信号に対応する仮想の音源の位置に基づいてパニングゲインを決定し、
    前記パニングゲインに基づいて前記少なくとも一つのフラット応答を生成する請求項1に記載のオーディオ信号処理装置。
  7. 前記プロセッサは、
    前記仮想の音源の位置を示す両耳間極座標(interaural polar coordinate point)の方位角の値に基づいて前記パニングゲインを決定する請求項6に記載のオーディオ信号処理装置。
  8. 前記プロセッサは、
    前記第1伝達関数の少なくとも一部分に基づいて前記少なくとも一つのフラット応答を生成する請求項1に記載のオーディオ信号処理装置。
  9. 前記少なくとも一つのフラット応答は、少なくとも一部の周波数に対応する第1伝達関数の大きさ成分の平均である請求項8に記載のオーディオ信号処理装置。
  10. 前記第1伝達関数は、前記入力オーディオ信号に対応する仮想の音源の位置に対応するHRTF(Head Related Transfer Function)の対(pair)が含む同側のHRTF及び対側のHRTFのうちいずれか一つである請求項1に記載のオーディオ信号処理装置。
  11. 前記プロセッサは、
    前記同側のHRTF及び前記対側のHRTFそれぞれ、及び前記少なくとも一つのフラット応答に基づいて同側の第2伝達関数及び対側の第2伝達関数それぞれを生成し、
    前記同側の第2伝達関数及び対側の第2伝達関数のエネルギーレベルの合計を前記同側のHRTF及び前記対側のHRTFのエネルギーレベルの合計と同じになるように設定する請求項10に記載のオーディオ信号処理装置。
  12. オーディオ信号処理方法において、
    入力オーディオ信号を受信するステップと、
    聴取者を基準に前記入力オーディオ信号に対応する仮想の音源の位置に基づいて第1伝達関数を獲得するステップと、
    周波数ドメインにおいて一定な大きさの値を有する少なくとも一つのフラット応答を生成するステップと、
    前記第1伝達関数及び前記少なくとも一つのフラット応答に基づいて第2伝達関数を生成するステップと、
    前記生成された第2伝達関数に基づいて前記入力オーディオ信号をバイノーラルレンダリングして出力オーディオ信号を生成するステップと、
    前記生成された出力オーディオ信号を出力するステップと、を含むオーディオ信号処理方法。
  13. 前記第2伝達関数を生成するステップは、
    前記第1伝達関数と前記少なくとも一つのフラット応答を加重合計して前記第2伝達関数を生成するステップを含む請求項12に記載のオーディオ信号処理方法。
  14. 前記第2伝達関数を生成するステップは、
    前記入力オーディオ信号に対応するバイノーラル効果強度情報に基づいて前記第1伝達関数と前記少なくとも一つのフラット応答との間の加重合計に利用される加重パラメータを決定するステップと、
    前記決定された加重パラメータに基づいて前記第2伝達関数を生成するステップと、を含む請求項13に記載のオーディオ信号処理方法。
  15. 前記第1伝達関数は周波数ドメインで大きさ成分を含み、
    前記第2伝達関数を生成するステップは、
    前記加重パラメータに基づいて前記大きさ成分と前記少なくとも一つのフラット応答を周波数ビン別に加重合計して前記第2伝達関数を生成する請求項14に記載のオーディオ信号処理方法。
  16. 周波数ドメインにおいて、それぞれの周波数ビンに対応する前記第2伝達関数の位相成分は前記第1伝達関数の位相成分と同じである請求項12に記載のオーディオ信号処理方法。
  17. 前記フラット応答を生成するステップは、
    前記聴取者を基準に、前記入力オーディオ信号に対応する仮想の音源の位置に基づいてパニングゲインを決定するステップと、
    前記パニングゲインに基づいて前記少なくとも一つのフラット応答を生成するステップと、を含む請求項12に記載のオーディオ信号処理方法。
  18. 前記パニングゲインを決定するステップは、
    前記仮想の音源の位置を示す両耳間極座標の方位角の値に基づいて前記パニングゲインを決定するステップを含む請求項17に記載のオーディオ信号処理方法。
  19. 前記フラット応答を生成するステップは、
    前記第1伝達関数の少なくとも一部分に基づいて少なくとも一つのフラット応答を生成するステップを含む請求項12に記載のオーディオ信号処理方法。
  20. 前記少なくとも一つのフラット応答は、少なくとも一部の周波数に対応する第1伝達関数の大きさ成分の平均である請求項19に記載のオーディオ信号処理方法。
JP2019543846A 2017-02-10 2018-02-12 オーディオ信号処理方法及び装置 Pending JP2020506639A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20170018515 2017-02-10
KR10-2017-0018515 2017-02-10
PCT/KR2018/001833 WO2018147701A1 (ko) 2017-02-10 2018-02-12 오디오 신호 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
JP2020506639A true JP2020506639A (ja) 2020-02-27

Family

ID=63106980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019543846A Pending JP2020506639A (ja) 2017-02-10 2018-02-12 オーディオ信号処理方法及び装置

Country Status (3)

Country Link
US (1) US10165381B2 (ja)
JP (1) JP2020506639A (ja)
WO (1) WO2018147701A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190083863A (ko) * 2018-01-05 2019-07-15 가우디오랩 주식회사 오디오 신호 처리 방법 및 장치
CN108900962B (zh) * 2018-09-16 2020-11-20 苏州创力波科技有限公司 一种三模型3d音效生成方法及其获取方法
GB2588171A (en) * 2019-10-11 2021-04-21 Nokia Technologies Oy Spatial audio representation and rendering
GB2593170A (en) * 2020-03-16 2021-09-22 Nokia Technologies Oy Rendering reverberation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
US20160088417A1 (en) * 2013-04-30 2016-03-24 Intellectual Discovery Co., Ltd. Head mounted display and method for providing audio content by using same
US9420393B2 (en) * 2013-05-29 2016-08-16 Qualcomm Incorporated Binaural rendering of spherical harmonic coefficients
US9602947B2 (en) * 2015-01-30 2017-03-21 Gaudi Audio Lab, Inc. Apparatus and a method for processing audio signal to perform binaural rendering
KR20160136716A (ko) * 2015-05-20 2016-11-30 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
US9860666B2 (en) * 2015-06-18 2018-01-02 Nokia Technologies Oy Binaural audio reproduction

Also Published As

Publication number Publication date
US10165381B2 (en) 2018-12-25
WO2018147701A1 (ko) 2018-08-16
US20180242094A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
KR102149214B1 (ko) 위상응답 특성을 이용하는 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
US10741187B2 (en) Encoding of multi-channel audio signal to generate encoded binaural signal, and associated decoding of encoded binaural signal
US10349197B2 (en) Method and device for generating and playing back audio signal
US10142761B2 (en) Structural modeling of the head related impulse response
US11184727B2 (en) Audio signal processing method and device
JP2020506639A (ja) オーディオ信号処理方法及び装置
JP4921470B2 (ja) 頭部伝達関数を表すパラメータを生成及び処理する方法及び装置
RU2591179C2 (ru) Способ и система для генерирования передаточной функции головы путем линейного микширования передаточных функций головы
JP5285626B2 (ja) 音声空間化及び環境シミュレーション
JP4938015B2 (ja) 3次元音声を生成する方法及び装置
US20080298610A1 (en) Parameter Space Re-Panning for Spatial Audio
KR101627647B1 (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
US10764709B2 (en) Methods, apparatus and systems for dynamic equalization for cross-talk cancellation
RU2427978C2 (ru) Кодирование и декодирование аудио
Yuan et al. Externalization improvement in a real-time binaural sound image rendering system
CN109923877B (zh) 对立体声音频信号进行加权的装置和方法
CN113170271A (zh) 用于处理立体声信号的方法和装置
WO2019239011A1 (en) Spatial audio capture, transmission and reproduction
US20210112356A1 (en) Method and device for processing audio signals using 2-channel stereo speaker
Iwanaga et al. Embedded implementation of acoustic field enhancement for stereo sound sources
Wilkinson AD-3D: HRTF based 3D Audio Designer
Välimäki et al. Assisted Listening using a Headset

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190813

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201005

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210928