JP2018186471A

JP2018186471A - 目標位置設定装置及び音像定位装置

Info

Publication number: JP2018186471A
Application number: JP2017088857A
Authority: JP
Inventors: 要早坂; Kaname Hayasaka
Original assignee: Teac Corp
Current assignee: Teac Corp
Priority date: 2017-04-27
Filing date: 2017-04-27
Publication date: 2018-11-22
Anticipated expiration: 2037-04-27
Also published as: US20180314488A1; US10754610B2; JP6926640B2; CN108810794B; CN108810794A

Abstract

【課題】ＧＵＩ画面を用いて容易に目標位置を設定し得る技術を提供する。【解決手段】装置は、表示部５０に、リスナーの表象図６０ａと、リスナーを中心とする半球状のドームを水平面に投影した表象図６０ｂを表示する。ユーザはマウスのクリック操作で半球状のドームの半径を指定し、中心に向かうドラッグ操作でリスナーに対する音像の目標位置を設定する。音像位置は黒丸Ｏで示され、リスナーに対する音像の左右方向、前後方向、及び高さ方向の位置を示す。【選択図】図４

Description

本発明は、目標位置設定装置及び音像定位装置に関する。

従来から、目標位置に音像を定位させるように音源信号に対して処理を行う音像定位装置が提案されている。

特許文献１には、音像位置として、水平面の縦位置を設定するＸ位置設定部、横位置を設定するＹ位置設定部、垂直面の高さ位置を設定するＺ位置設定部、水平面の角度を設定するθ位置設定部、及び垂直面の角度を設定するφ位置設定部を備えることが記載されている。リスナーは、ＧＵＩ（グラフィカルユーザインターフェース）アプリケーション画面に表示されたこれらの設定部の項目をクリックしてスライダをスライドさせることで、各位置を設定できる。

特許文献２には、頭部伝達関数を用いた音像定位装置が記載されている。

非特許文献１には、頭部伝達関数を再現し、音源信号に畳み込んでリスナーに提示することにより任意の位置に音像を定位させることが記載されている。

特開２００４−１９３８７７号公報特開２００８−２１１８３４号公報

イェンスブラウエルト・森本政之・後藤敏幸編著「空間音響」鹿島出版会、昭和６１年７月１０日

しかしながら、このようなＸ位置設定部、Ｙ位置設定部、Ｚ位置設定部、θ位置設定部、及びφ位置設定部を操作した場合、実際の立体音像の３Ｄ位置がイメージし難い問題がある。

他方、人体の頭部を模した模型の、耳の鼓膜の奥の位置に高感度のマイクを装着して収音する、いわゆるダミーヘッドマイクを用いたバイノーラル録音も開発されているが、一般に高価である。

本発明の目的は、ＧＵＩ画面を用いて容易に目標位置を設定し得る技術を提供することにある。

本発明は、リスナーを示す第１表象図と、前記リスナーを中心とする半径Ｒの半球状ドームを水平面に投影して得られる第２表象図と、前記第２表象図に関連付けて目標位置を示すマークを表示する表示部と、前記半径Ｒを指定する第１操作部と、前記マークを前記第２表象図の範囲内で任意に移動させる第２操作部と、前記リスナーを基準とする前記マークの３次元位置データを音像定位用の目標位置データとして出力する制御部とを備える目標位置設定装置である。

本発明の１つの実施形態では、前記表示部は、さらに、前記半径Ｒの半球状ドームを垂直面に投影して得られる第３表象図を表示するとともに、前記第３表象図に関連付けて前記マークを表示する。

本発明の他の実施形態では、前記第２表象図の大きさは前記リスナーを基準とする音像の距離を示し、前記マークの位置は前記リスナーを基準とする音像の左右方向、前後方向、及び高さ方向の位置を示す。

本発明のさらに他の実施形態では、前記第１操作部及び前記第２操作部はマウスであり、前記マウスのクリック操作により前記半径Ｒを指定し、前記マウスのドラッグ操作により前記マークを移動させる。

本発明のさらに他の実施形態では、前記第１操作部及び前記第２操作部はタッチパネルであり、前記タッチパネルでのタッチ操作により前記半径Ｒを指定し、前記タッチパネルでの指の移動により前記マークを移動させる。

本発明のさらに他の実施形態では、前記第１操作部及び前記第２操作部は前記表示部に表示されるスライドバーである。

また、本発明は、上記の目標位置設定装置と、前記目標位置設定装置から出力された前記目標位置データを用いて音源信号を処理して音像定位信号を出力する音源信号処理装置とを備える音像定位装置である。

本発明によれば、ＧＵＩ画面を用いて音像定位のための目標位置を容易に設定することができる。特に、本発明によれば、ユーザはリスナーに対する音像の３次元位置を容易に把握できる。

実施形態の前提となるＧＵＩ画面の説明図である。実施形態のＧＵＩ画面の説明図である。他の実施形態のＧＵＩ画面の説明図（その１）である。他の実施形態のＧＵＩ画面の説明図（その２）である。他の実施形態のＧＵＩ画面の説明図（その３）である。他の実施形態の処理フローチャートである。さらに他の実施形態の音像軌跡説明図である。さらに他の実施形態の音像軌跡説明図である。全体構成ブロック図である。頭部伝達関数の説明図である。さらに他の実施形態のＧＵＩ画面の説明図（その４）である。

以下、図面に基づき本発明の実施形態について説明する。

＜前提となるＧＵＩ画面＞
まず、本実施形態において前提となるＧＵＩ画面について説明する。

図１は、音像定位の前提となる音像の目標位置を設定する目標位置設定装置の表示部５０に表示されるＧＵＩ画面を示す。ＧＵＩ画面は、半球状のドーム５２と、２種のスライドバー５４，５６から構成される。

半球状のドーム５２は、その中点Ｐにリスナーが位置しており、このドーム５２の表面の任意の位置に音像を定位する。

スライドバー５４は、リスナーに対して左右方向の位置を定位するためのスライドバーであり、スライダ５５をマウス等で移動させることで音像を左右方向に移動させる。スライドバー５４は、水平面内の方位角θを変化させるためのスライドバーに対応する。また、スライドバー５６は、リスナーに対して前後方向の位置を定位するためのスライドバーであり、スライダ５７をマウス等で移動させることで音像を前後方向に移動させる。スライドバー５６は、垂直面の角度（仰角）φを変化させるためのスライドバーに対応する。
半球状のドーム５２の表面における音像の目標位置を例えば黒丸Ｏで表示し、スライダ５５，５７の移動に応じて黒丸Ｏを移動させることで、リスナーに対する音像目標位置を容易にイメージすることができる。

但し、このようなＧＵＩでは、基本的に方位角θ及び仰角φを設定することで定位するものであるから、音像のＸ位置、Ｙ位置、Ｚ位置の把握が困難となる。具体的には、例えばリスナーの右耳付近から背後を回り左耳付近と音像が順次移動するような移動軌跡を設定するのは、Ｘ位置、Ｙ位置、Ｚ位置を把握すれば容易と考えられるところ、半球状のドーム５２のみではその把握が困難である。

そこで、本実施形態では、このような半球状のドーム５２を前提としつつ、より改良されたＧＵＩを提供する。

＜実施形態のＧＵＩ＞
図２は、本実施形態における目標位置設定装置の表示部５０に表示されるＧＵＩ画面を示す。ＧＵＩ画面は、リスナーを中心とする半球状のドーム５２を天頂方向から見た平面図６０、つまり半球状のドーム５２をリスナーの位置する水平面に投影した投影図と、リスナーの左側から見た側面図６２、つまり、半球状のドーム５２を垂直面に投影した投影図６２と、スライドバー６４，６６，６８から構成される。

平面図６０は、さらに、リスナーを模式的に示すアイコンあるいは表象図６０ａと、半球状のドーム５２を模式的に示すアイコンあるいは表象図６０ｂと、音像の目標位置を示す黒丸Ｏを含む。リスナーを示す表象図６０ａは、図においてリスナーの正面が上方を向いた状態として示される。表象図６０ａは第１表象図として機能し、表象図６０ｂは第２表象図として機能する。

平面図６２は、さらに、リスナーを示す表象図６０ａと、半球状のドーム５２の表面を示す表象図６０ｂと、音像目標位置を示す黒丸Ｏを含む。リスナーを示す表象図６０ａは、図においてリスナーの正面が左方を向いた状態として示される。平面図６２における表象図６０ｂは、第３表象図として機能する。

スライドバー６４は、リスナーに対して左右方向の位置を定位するためのスライドバーであり、スライダ６５をマウス等で移動させることで音像をリスナーに対して左右方向に移動させる。スライドバー６４は、表象図６０ａの中点Ｐを中心とした水平面内の方位角θを変化させるためのスライドバーに対応する。

スライドバー６６は、リスナーに対して前後方向の位置を定位するためのスライドバーであり、スライダ６７をマウス等で移動させることで音像をリスナーに対して前後方向に移動させる。スライドバー６６は、表象図６０ａの中点Ｐを中心とした仰角φを変化させるためのスライドバーに対応する。

スライドバー６８は、リスナー（表象図６０ａの中点Ｐ）に対して半球状のドーム５２の半径Ｒを調整するためのスライドバーであり、スライダ６９をマウス等で移動させることでリスナー（中点Ｐ）と音像との距離Ｒを増減させる。スライドバー６８は、リスナーから音像までの距離Ｒを変化させるためのスライドバーに対応する。スライドバー６８は第１操作部として機能し、スライドバー６４，６６は第２操作部として機能する。

ユーザは、平面図６０，６２を視認することで、音像との距離、音像の左右方向及び前後方向を設定することができる。すなわち、スライダ６５を移動させることで平面図６０における黒丸Ｏが左右方向に移動し、スライダ６７を移動させることで平面図６０，６２における黒丸Ｏが前後方向に移動する。また、スライダ６９を移動させることで平面図６２における黒丸Ｏの中点Ｐに対する半径位置が変化する。従って、ユーザは、平面図６０，６２により、リスナーに対する音像との距離、左右方向、前後方向の位置を容易に把握し得る。

なお、ユーザがスライダ６９を移動させた場合に平面図６２における黒丸Ｏの位置が変化するのではなく、黒丸Ｏに変えて表象図６０ｂの半径を拡大／縮小するように変化させてもよい。ユーザは、表象図６０ｂを視認することで、リスナーと音像との距離を視認し得る。平面図６０でＸ位置及びＹ位置を把握でき、平面図６２でＺ位置を把握できるといえる。

図３及び図４は、他の実施形態のＧＵＩ画面を示す。図２のＧＵＩ画面において、平面図６０のみを表示し、平面図６２を削除するとともにスライドバー６４，６６，６８も削除した画面である。

まず、ユーザは、図３に示すように、リスナーの表象図６０ａに対して所望の位置をマウスでクリック操作する。このクリック操作により表象図６０ｂの半径が設定されて表示される。また、クリック操作位置に黒丸Ｏが表示される。

次に、ユーザは、図４に示すように、黒丸Ｏを表象図６０ａの中心方向に向かって所望の位置までマウスをドラッグ操作する。このドラッグ操作により左右方向、前後方向及び高さが設定されて表示される。つまり、このドラッグ操作により、黒丸Ｏが半球状のドーム５２の表面を移動し、表象図６０ａの中心に近づくほど半球状のドーム５２の天頂位置に近づいていて高くなる。ユーザは、図４における黒丸Ｏを視認することで、音像のＸ位置、Ｙ位置のみならずＺ位置も把握し得る。この場合、マウスは第１操作部及び第２操作部として機能する。

図５は、最初のクリック位置が図３の場合よりも表象図６０ａに近い場合である。表象図６０ｂの半径は図３及び図４における表象図６０ｂよりも小さい。従って、音像はリスナーにより近く定位されることになる。

図６は、本実施形態の処理フローチャートを示す。目標位置設定装置としてのコンピュータが表示部５０にＧＵＩ画面を表示する場合の例である。

まず、ユーザは、図３のＧＵＩ画面においてマウスで所望の一点（位置）をクリック操作して最大距離、すなわち半球状のドーム５２の半径Ｒを設定する（Ｓ１０１）。半径Ｒの設定に応じて、マウスのクリック位置に黒丸Ｏが表示される。コンピュータのＣＰＵは、マウスのクリック位置を検知して入力する。なお、マウスのクリック操作は、半径Ｒ（最大距離）の設定操作として機能するため、半径Ｒの設定後、半球状のドーム５２の表面における黒丸Ｏの位置（音像位置）のみを変更する場合には、シフトキーやコントロールキー等の所定キーを押下した状態でドラッグ操作するのが望ましい。

次に、ユーザは、中心部に向かってドラッグ操作して黒丸Ｏを移動させ、前後、左右、及び高さを設定する（Ｓ１０２）。コンピュータのＣＰＵは、マウスのドラッグ操作を入力し、ドラッグの終了位置を検知する。そして、中心部から最初のクリック位置までの距離Ｒを半径とする円を設定して表象図６０ｂとして表示し、かつ、ドラッグ終了位置を音像位置として黒丸を表示する（Ｓ１０３）。コンピュータのＣＰＵは、中心部から最初のクリック位置までの距離を半径Ｒとする半球状のドーム５２を設定し、このドーム５２の表面におけるドラッグ終了位置を定位し、音像位置として出力する（Ｓ１０４）。音像位置は、方位角θ及び仰角φ、あるいはＸ位置、Ｙ位置、Ｚ位置でもよく、その他の形式でもよい。

このように、クリック操作及びドラッグ操作の一連かつ一回の操作のみで、音像の目標位置を設定することができ、かつ、ユーザは、図４あるいは図５に示される平面図（半球状のドーム５２を水平面に投影した投影図）を視認することで、音像のＸ位置、Ｙ位置、Ｚ位置を容易に把握することができる。従って、本実施形態の方法によれば、Ｘ位置、Ｙ位置、Ｚ位置を意識して音像の軌跡を定めることも容易化され得る。

図７は、音像の軌跡の一例を示す。音像の位置を示す黒丸Ｏは当初はリスナーの右耳付近に位置し、その位置から同じ高さでリスナーの背後を回って左耳付近に到達し（黒丸Ｏ’）、その後再びリスナーの背後を逆向きに回って右耳付近に戻るような軌跡である。このような軌跡をＧＵＩ画面で表示することで、ユーザは音像がリスナーに対してどのように移動するかを容易に把握できる。このような動きは、例えばマウスをクリックしてドラッグした後、マウスを再び所望の軌跡に沿ってドラッグすればよく、コンピュータのＣＰＵはこのようなドラッグ操作を検知し、軌跡データファイルとしてメモリに記憶する。なお、軌跡データファイルは、デフォルトとしてプリセットされている軌跡データファイルを用いてもよいし、外部から取り込んだ軌跡データファイルを用いてもよい。ＣＰＵは、ユーザからの操作に応じて適宜、当該軌跡データファイルをメモリから読み出し、ＧＵＩ画面に黒丸Ｏの動きとして表示する。

図８は、音像の他の軌跡の例を示す。音像の位置を示す黒丸Ｏは当初はリスナーの右耳付近に位置し、その位置から同じ高さでリスナーの周囲を反時計回りに一周して再び元の位置に戻るような軌跡である。このような動きは、例えば予めメニューとして音像の動きを規定するファイルを用意しておき、ユーザが所望のファイルを選択することによっても設定し得る。メニューは、例えば「同じ高さで周回」、「右耳から頭頂部の上を通って左耳」、「正面から背後へ」等である。

図９は、目標位置設定装置を含む音像定位装置の全体構成ブロック図を示す。音像定位装置は、目標位置設定装置としてのコンピュータ１０と、音源信号処理装置３０から構成される。

コンピュータ１０は、ＣＰＵ１２，ＲＯＭ１４，ＲＡＭ１６，ディスプレイ１８，ＨＤＤ２０，入出力インターフェース（Ｉ／Ｆ）２２，キーボード２４，マウス２６を備える。

ＣＰＵ１２は、ＲＯＭ１４あるいはＨＤＤ２０に記憶された処理プログラムに従い、ＲＡＭ１６をワーキングメモリとして用いて表示部５０として機能するディスプレイ１８にＧＵＩ画面を表示する。ＣＰＵ１２は、リスナーの表象図６０ａをＧＵＩ画面の略中央に表示する。ユーザがマウス２６をクリック操作すると、その操作信号が入出力Ｉ／Ｆ２２を介してＣＰＵ１２に供給される。ＣＰＵ１２は、クリック位置を検知して半球状のドーム５２の半径Ｒを設定し、ＲＡＭ１６等に記憶する。また、ユーザがマウス２６をドラッグ操作すると、その操作信号が入出力Ｉ／Ｆ２２を介してＣＰＵ１２に供給される。ＣＰＵ１２は、ドラッグ終了位置を検知して音像のＸ位置、Ｙ位置、Ｚ位置を設定し、ＲＡＭ１６等に記憶する。ＣＰＵ１２は、ＲＡＭ１６等に記憶した半径Ｒを読み出して半球状のドーム５２の表象図６０ｂをディスプレイ１８に表示するとともに、ドラッグ終了位置に音像の位置を示す黒丸Ｏを表示する。また、ＲＡＭ１６に記憶されたＸ位置、Ｙ位置、Ｚ位置を音像の目標位置データとして音源信号処理装置３０に出力する。

音源信号処理装置３０は、例えば頭部伝達関数ＨＲＴＦを用いて音源信号を処理し、音像定位信号をスピーカやヘッドホン等に出力する。頭部伝達関数ＨＲＴＦを用いた音源信号の処理は公知であり、特開２００８−２１１８３４号公報等に記載されている。図１０は、この公報に記載された頭部伝達関数の一例を示す。音像の目標位置に対応する標準的な頭部伝達関数ＨＲＴＦの振幅周波数特性｜ＨＩ，ｒ（ｆ）｜に含まれるピークＰ１，Ｐ２，・・・、ディップＤ１，Ｄ２，・・・高域減衰Ｃｈ、低域減衰Ｃｌ等の構造的特徴を再現することで、その目標位置に音像を制御することができる。

具体的には、音源信号処理装置３０は、コンピュータ１０から目標位置データが入力されると、入力された目標位置データに対応する右耳用、左耳用それぞれの、構造的特徴に対応するパラメータを設定し、右耳用のＩＩＲフィルタ及び左耳用のＩＩＲフィルタに当該パラメータを設定して音源信号をこれらのＩＩＲフィルタで処理し、Ｒｃｈ及びＬｃｈの音像定位信号を出力する。

以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、種々の変形が可能である。以下に、変形例について説明する。

＜変形例１＞
実施形態では、マウスを用いて音像の目標位置を設定しているが、表示部５０をタッチパネルで構成し、タッチ操作によって目標位置を設定してもよい。具体的には、ユーザは図３において所望の位置をタッチし、その後、中心に向かって指を移動させればよい。この場合、タッチパネルが第１操作部及び第２操作部として機能する。なお、タッチパネルのタッチ操作は、半径Ｒ（最大距離）の設定操作として機能するため、半径Ｒの設定後、タッチパネルから指を離して再度タッチをした場合、半径Ｒの設定が変更されることになる。よって、設定した半径Ｒを変更せずに黒丸Ｏの位置（音像位置）のみを変更する操作を可能にするために、例えば、タッチパネルのダブルタッチを検出した場合には、半径Ｒを設定する操作であると認識して、半径Ｒを設定し、シングルタッチを検出をした場合には、黒丸Ｏのドラッグ操作指示であると認識して、半径Ｒを変更することなく黒丸Ｏのドラッグ操作を可能にしてもよい。

＜変形例２＞
実施形態では、図９に示すように、音像定位装置はコンピュータ１０と音源信号処理装置３０から構成されているが、これらは互いに同一の筐体内に組み込まれている場合の他、互いに別筐体として有線あるいは無線でデータ送受可能に接続されていてもよい。例えば、コンピュータ１０をタブレットあるいはスマートフォンで構成し、ユーザがタブレットやスマートフォンをタッチ操作して音像の目標位置を設定し、無線で目標位置データを音源信号処理装置３０に出力する等である。

＜変形例３＞
実施形態では、図７、図８に示すような音像の軌跡を示したが、これら以外にも例えばリスナーに対して音像の目標位置をランダムに移動させることも可能である。

＜変形例４＞
実施形態では、ＧＵＩ画面において音像の目標位置を黒丸Ｏで示しているが、形状及び色彩は任意に設定し得る。要するに、ユーザが視認可能なマークを表示すればよく、スライドバーやマウス等の操作部で当該マークを移動可能、あるいはタッチ操作で当該マークを移動可能に構成すればよい。

＜変形例５＞
実施形態では、リスナーを中心とする半球状のドーム５２を水平面に投影した表象図６０ｂとしてリスナーを中心とする円を示しているが、この円の領域内にグラデーションを施してその高さを視覚的に表現してもよく、３次元の高さを２次元表現する任意の表現方法を用い得る。

＜変形例６＞
実施形態では、リスナーを中心とする半球状のドーム５２を水平面に投影した表象図６０ｂとしてリスナーを中心とする円を示しているが、図１１に示すようにこの円は楕円にしてもよい。人間の聴覚は、音の左右の移動に対しては敏感に反応するが、音の前後の移動については比較的反応が鈍いといった傾向が見られる。よって、表象図６０ｂとして、左右方向の半径が長く、前後方向の半径が短い楕円とすることで、聴覚バランスを取ることが考えられる。この場合、「半球状」には「半回転楕円体状」も含まれるものとする。すなわち、半径Ｒは厳密に一定である必要はない。

５０表示部、５２半球状のドーム、５４，５６，６４，６６，６８スライドバー、５５，５７，６５，６７，６９スライダ、６０ａリスナーの表象図、６０ｂ半球状のドームの表象図。

Claims

リスナーを示す第１表象図と、前記リスナーを中心とする半径Ｒの半球状ドームを水平面に投影して得られる第２表象図と、前記第２表象図に関連付けて目標位置を示すマークを表示する表示部と、
前記半径Ｒを指定する第１操作部と、
前記マークを前記第２表象図の範囲内で任意に移動させる第２操作部と、
前記リスナーを基準とする前記マークの３次元位置データを音像定位用の目標位置データとして出力する制御部と、
を備える目標位置設定装置。
前記表示部は、さらに、前記半径Ｒの半球状ドームを垂直面に投影して得られる第３表象図を表示するとともに、前記第３表象図に関連付けて前記マークを表示する
請求項１に記載の目標位置設定装置。
前記第２表象図の大きさは前記リスナーを基準とする音像の距離を示し、前記マークの位置は前記リスナーを基準とする音像の左右方向、前後方向、及び高さ方向の位置を示す
請求項１，２のいずれかに記載の目標位置設定装置。
前記第１操作部及び前記第２操作部はマウスであり、前記マウスのクリック操作により前記半径Ｒを指定し、前記マウスのドラッグ操作により前記マークを移動させる
請求項１〜３のいずれかに記載の目標位置設定装置。
前記第１操作部及び前記第２操作部はタッチパネルであり、前記タッチパネルでのタッチ操作により前記半径Ｒを指定し、前記タッチパネルでの指の移動により前記マークを移動させる
請求項１〜３のいずれかに記載の目標位置設定装置。
前記第１操作部及び前記第２操作部は前記表示部に表示されるスライドバーである
請求項１〜３のいずれかに記載の目標位置設定装置。
請求項１〜６のいずれかに記載の目標位置設定装置と、
前記目標位置設定装置から出力された前記目標位置データを用いて音源信号を処理して音像定位信号を出力する音源信号処理装置と、
を備える音像定位装置。