JP2023092962A - オーディオ信号出力方法、オーディオ信号出力装置及びオーディオシステム - Google Patents

Abstract

【課題】イヤホン使用時に、リスナにとって音像が定位し難い方向の音像定位を向上させるオーディオ信号出力方法を提供する。【解決手段】オーディオ信号出力方法は、複数のチャンネルのそれぞれに対応するオーディオ信号を含むオーディオデータを取得し、複数のチャンネルのそれぞれに対応するオーディオ信号に、各チャンネルで定められた位置に音像を定位させる頭部伝達関数を付与し、頭部伝達関数が付与された複数チャンネルのそれぞれに対応するオーディオ信号を、イヤホンに出力し、オーディオデータに含まれる複数のオーディオ信号のうち、リスナの前方から頭頂の位置に対応するチャンネルのオーディオ信号を、スピーカに出力する。【選択図】図８

Description

この発明の一実施形態は、オーディオ信号を出力する、オーディオ信号出力方法、オーディオ信号出力装置及びオーディオシステムに関する。

従来、複数のスピーカを用いて、所定の位置に音源の音像を定位させる音像定位処理を行うオーディオ信号処理装置があった（例えば、特許文献１を参照）。このような、オーディオ信号処理装置は、オーディオ信号に所定のゲイン及び所定の遅延時間を付与して、複数のスピーカに分配することで、音像定位処理を行っていた。音像定位処理は、イヤホンにも使用されていた。イヤホンでは、頭部伝達関数を用いた音像定位処理が行われていた。

国際公開第２０２０／１９５５６８号

イヤホン使用時において、リスナにとって、音像が定位し難い方向があり、音像定位の向上が望まれていた。

本発明の一実施形態は、イヤホン使用時に、リスナにとって音像が定位し難い方向の音像定位を向上させるオーディオ信号出力方法を提供することを目的とする。

本発明の一実施形態に係るオーディオ信号出力方法は、複数のチャンネルのそれぞれに対応するオーディオ信号を含むオーディオデータを取得し、前記複数のチャンネルのそれぞれに対応するオーディオ信号に、各チャンネルで定められた位置に音像を定位させる頭部伝達関数を付与し、前記頭部伝達関数が付与されたオーディオ信号を、イヤホンに出力し、前記オーディオデータに含まれる複数のオーディオ信号のうち、リスナの頭頂方向から前方の位置に対応するチャンネルのオーディオ信号を、スピーカに出力する。

本発明の一実施形態によれば、イヤホン使用時に、リスナにとって音像が定位し難い方向の音像定位を向上させることができる。

オーディオシステムの主要な構成の一例を示すブロック図である。 鉛直方向から観て、ユーザを中心に仮想スピーカの位置を示す模式図である。 携帯端末の主要な構成の一例を示すブロック構成図である。 ヘッドホンの主要な構成の一例を示すブロック構成図である。 オーディオシステムが使用される空間の一例を示す模式図である。 ヘッドホン使用時における音像定位が難しい領域を示す模式図である。 スピーカの主要な構成の一例を示すブロック構成図である。 オーディオシステムにおける携帯端末の動作を示すフローチャートである。 実施形態２の携帯端末の主要な構成の一例を示すブロック構成図である。 実施形態２の携帯端末の動作を示すフローチャートである。 実施形態３における、ヘッドホンの主要な構成を示すブロック構成図である。 実施形態４の携帯端末の主要な構成を示すブロック構成図である。 変形例１の携帯端末の主要な構成を示すブロック構成図である。 変形例２の携帯端末の主要な構成を示すブロック構成図である。 変形例３のオーディオシステムが使用される空間を示す模式図である。 変形例４のオーディオシステムであって、ユーザとスピーカとを鉛直方向から見た（平面視した）説明図である。 変形例５のオーディオシステムが使用される空間を示す模式図である。

［実施形態１］
以下、実施形態１に係るオーディオシステム１００について図を参照して説明する。図１は、オーディオシステム１００の構成の一例を示すブロック図である。図２は、鉛直方向から観て、ユーザ５を中心に仮想スピーカの位置を示す模式図である。図２において、紙面の左右方向に一点鎖線で表される方向を左右方向Ｘ２とする。また、図２において、紙面の上下方向に一点鎖線で表される方向を前後方向Ｙ２とする。図３は、携帯端末１の構成の一例を示すブロック構成図である。図４は、ヘッドホン２の主要な構成の一例を示すブロック構成図である。図５は、オーディオシステム１００が使用される空間４の一例を示す模式図である。図５において、紙面の左右方向に実線で表される方向を前後方向Ｙ１とする。また、図５において、紙面の上下方向に実線で表される方向を鉛直方向Ｚ１とする。さらに、図５において、前後方向Ｙ１と鉛直方向Ｚ１とに直交する実線の示す方向を左右方向Ｘ１とする。図６は、ヘッドホン２使用時における音像定位が難しい領域Ａ１を示す模式図である。図６において、紙面の左右方向に一点鎖線で表される方向を前後方向Ｙ２とする。また、図６において、紙面の上下方向に一点鎖線で表される方向を鉛直方向Ｚ２とする。さらに、図６において、前後方向Ｙ２と鉛直方向Ｚ２とに直交する一点鎖線の示す方向を左右方向Ｘ２とする。図７は、スピーカ３の主要な構成を示すブロック構成図である。図８は、オーディオシステム１００における携帯端末１の動作を示すフローチャートである。

オーディオシステム１００は、図１に示すように、携帯端末１と、ヘッドホン２と、スピーカ３とを備えている。この例でいう、携帯端末１は、本願発明のオーディオ信号出力装置の一例である。また、この例でいう、ヘッドホン２は、本願発明のイヤホンの一例である。なお、イヤホンは、外耳道に挿入して用いるインイヤー型に限らず、図１に示すようなヘッドバンドを有するオーバーヘッド型（ヘッドホン）を含む。

オーディオシステム１００は、ユーザ５によって選択されたコンテンツを再生する。本実施形態において、コンテンツは、例えば、オーディオコンテンツである。コンテンツは、映像データを含んでいてもよい。本実施形態では、オーディオデータは、複数のチャンネルのそれぞれに対応するオーディオ信号を含む。本実施形態では、オーディオデータは、例えば５チャンネル（Ｌチャンネル、Ｒチャンネル。センタＣチャンネル、リアＬチャンネル及びリアＲチャンネル）のそれぞれに対応するオーディオ信号を含む。この例でいう、ユーザ５は、本願発明でいうリスナに対応する。ユーザ５は、オーディオシステム１００に関する操作を行う。

オーディオシステム１００は、コンテンツに含まれるオーディオデータに基づいて、音をヘッドホン２から出力する。オーディオシステム１００において、ユーザ５は、ヘッドホン２を装着する。ユーザ５は、携帯端末１を操作してコンテンツの選択及び再生を指示する。携帯端末１は、例えば、ユーザ５からコンテンツを再生するコンテンツ再生操作を受け付けた場合、オーディオデータに含まれるオーディオ信号を再生する。携帯端末１は、再生した複数のオーディオ信号をヘッドホン２に送信する。ヘッドホン２は、受信したオーディオ信号に基づいて、放音する。

携帯端末１は、複数のチャンネルのそれぞれに対応するオーディオ信号に対して音像定位処理を行う。音像定位処理とは、例えば、頭部伝達関数を使用して仮想的なスピーカ（以下、単に仮想スピーカと称す）の位置を設定し、音が、あたかも仮想スピーカの位置から到達したかのように、音像を定位させる処理である。携帯端末１は、予め記憶部（例えば図２に示すフラッシュメモリ１３）に頭部伝達関数を記憶している。頭部伝達関数は、仮想スピーカの位置からユーザ５の頭部（具体的には、ユーザ５の左耳、右耳）に至るまでの伝達関数である。

頭部伝達関数に関してより詳細に説明する。本実施形態において、設定される仮想スピーカの位置は、図２に示すように、ユーザ５から所定の距離、例えば１ｍで離間し、かつ５チャンネル（Ｌチャンネル、Ｒチャンネル、センタＣチャンネル、リアＬチャンネル及びリアＲチャンネル）のそれぞれと一対一に対応している。詳細には、Ｌチャンネルに対応する仮想スピーカは、仮想スピーカＦＬである。さらに、Ｒチャンネルに対応する仮想スピーカは仮想スピーカＦＲである。センタＣチャンネルに対応する仮想スピーカは、仮想スピーカＣである。また、リアＬチャンネルに対応する仮想スピーカは、仮想スピーカＲＬである。さらに、リアＲチャンネルに対応する仮想スピーカは、仮想スピーカＲＲである。また、仮想スピーカＣは、ユーザ５の正面（前方）方向に位置する。仮想スピーカＣの位置する該正面方向が０度である。さらに仮想スピーカＦＲの方向は３０度、仮想スピーカＲＲの方向は１３５度、仮想スピーカＲＬの方向は－１３５度、仮想スピーカＦＬの方向は－３０度である。

仮想スピーカＦＬ、仮想スピーカＦＲ、仮想スピーカＣ、仮想スピーカＲＬ、及び仮想スピーカＲＲのそれぞれの位置からユーザ５の頭部に至る頭部伝達関数は、各仮想スピーカＦＬ、仮想スピーカＦＲ、仮想スピーカＣ、仮想スピーカＲＬ及び仮想スピーカＲＲの位置から右耳に至るものと、左耳に至るものと２つある。携帯端末１は、各仮想スピーカＦＬ、仮想スピーカＦＲ、仮想スピーカＣ、仮想スピーカＲＬ及び仮想スピーカＲＲに対応する頭部伝達関数を読み出して、各チャンネルのオーディオ信号に右耳に至る頭部伝達関数及び左耳に至る頭部伝達関数を別々に畳み込む。携帯端末１は、右耳に至る頭部伝達関数を畳み込んだ各チャンネルのオーディオ信号をＲ（右）チャンネルに対応するオーディオ信号としてヘッドホン２に送信する。また、携帯端末１は、左耳に至る頭部伝達関数を畳み込んだ各チャンネルのオーディオ信号をＬ（左）チャンネルのオーディオ信号としてヘッドホン２に送信する。

ヘッドホン２は、受信したオーディオ信号に基づいて、放音する。

携帯端末１の構成について、図３を参照して説明する。携帯端末１は、図３に示すように、表示器１１と、ユーザインタフェース（Ｉ／Ｆ）１２と、フラッシュメモリ１３と、ＲＡＭ１４と、通信部１５と、制御部１６と、を備えている。

表示器１１は、制御部１６の制御に従って種々の情報を表示する。表示器１１は、例えば、ＬＣＤによって構成される。表示器１１は、ユーザＩ／Ｆ１２の一態様であるタッチパネルを積層し、ユーザ５の操作を受け付けるためのＧＵＩ（グラフィカルユーザインタフェース）画面を表示する。表示器１１は、例えば、スピーカ設定画面、コンテンツ再生画面及びコンテンツ選択画面など、を表示する。

ユーザＩ／Ｆ１２は、ユーザ５によるタッチパネルの操作を受け付ける。ユーザＩ／Ｆ１２は、例えば、表示器１１に表示されたコンテンツ選択画面から、コンテンツを選択するコンテンツ選択操作を受け付ける。また、ユーザＩ／Ｆ１２は、例えば、表示器１１に表示されたコンテンツ再生画面から、コンテンツ再生操作を受け付ける。

通信部１５は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線通信Ｉ／Ｆを含む。また、通信部１５は、ＵＳＢ等の規格に準じた有線通信Ｉ／Ｆを含む。通信部１５は、例えば、無線通信で、ステレオチャンネルに対応するオーディオ信号をヘッドホン２に送信する。また、通信部１５は、無線通信で、スピーカ３にオーディオ信号を送信する。

フラッシュメモリ１３は、オーディオシステム１００において、携帯端末１の動作に係るプログラムを記憶する。また、フラッシュメモリ１３は、頭部伝達関数を記憶する。さらに、フラッシュメモリ１３は、コンテンツを記憶する。

制御部１６は、記憶媒体であるフラッシュメモリ１３に記憶されているプログラムをＲＡＭ１４に読み出して、種々の機能を実現する。種々の機能は、例えば、オーディオデータ取得処理、定位処理及びオーディオ信号制御処理を含む。より詳細には、制御部１６は、オーディオデータ取得処理、定位処理及びオーディオ信号制御処理に関するプログラムをＲＡＭ１４に読み出す。これにより、制御部１６は、オーディオデータ取得部１６１と、定位処理部１６２と、オーディオ信号制御部１６３と、を構成する。

また、制御部１６は、オーディオデータ取得処理、定位処理及びオーディオ信号制御処理を実行するプログラムを、例えば、サーバからダウンロードしてもよい。このようにして、制御部１６は、オーディオデータ取得部１６１と、定位処理部１６２と、オーディオ信号制御部１６３と、を構成してもよい。

オーディオデータ取得部１６１は、例えば、ユーザＩ／Ｆ１２からユーザ５によるコンテンツ選択操作を受け付けると、コンテンツに含まれるオーディオデータを取得する。オーディオデータは、Ｌチャンネル、Ｒチャンネル、センタＣチャンネル、リアＬチャンネル及びリアＲチャンネルのそれぞれに対応するオーディオ信号を含む。

定位処理部１６２は、複数のチャンネルのそれぞれに対応するオーディオ信号に、各チャンネルで定められた位置に音像を定位させる頭部伝達関数を付与する。定位処理部１６２は、図２に示すように、頭部伝達関数を使用して、Ｌチャンネルの仮想スピーカＦＬをユーザ５の左前（－３０度）に、センタＣチャンネルの仮想スピーカＣをユーザ５の正面（０度）に、Ｒチャンネルの仮想スピーカＦＲをユーザ５の右前（３０度）に、リアＬチャンネルの仮想スピーカＲＬ（－１３５度）をユーザ５の左後ろに、及びリアＲチャンネルの仮想スピーカＲＲをユーザ５の右後ろ（１３５度）に、音像を定位させる。定位処理部１６２は、フラッシュメモリ１３から、各仮想スピーカ（仮想スピーカＦＬ、仮想スピーカＦＲ、仮想スピーカＣ、仮想スピーカＲＬ及び仮想スピーカＲＲ）に対応する頭部伝達関数に対応するものを読み出す。定位処理部１６２は、各仮想スピーカに対応する頭部伝達関数をそれぞれチャンネルのオーディオ信号に畳み込む。

すなわち、定位処理部１６２は、仮想スピーカＦＬに対応する頭部伝達関数を、Ｌチャンネルに対応するオーディオ信号に畳み込む。定位処理部１６２は、仮想スピーカＦＲに対応する頭部伝達関数を、Ｒチャンネルに対応するオーディオ信号に畳み込む。定位処理部１６２は、仮想スピーカＣに対応する頭部伝達関数を、センタＣチャンネルに対応するオーディオ信号に畳み込む。定位処理部１６２は、仮想スピーカＲＬに対応する頭部伝達関数を、リアＬチャンネルに対応するオーディオ信号に畳み込む。定位処理部１６２は、仮想スピーカＲＲに対応する頭部伝達関数を、リアＲチャンネルに対応するオーディオ信号に畳み込む。定位処理部１６２は、各仮想スピーカＦＬ、ＦＲ、Ｃ、ＲＬ、ＲＲの位置から左耳に至る頭部伝達関数を畳み込んだ、ステレオＬチャンネルに対応するオーディオ信号と、各仮想スピーカＦＬ、ＦＲ、Ｃ、ＲＬ、ＲＲの位置から右耳に至る頭部伝達関数を畳み込んだ、ステレオＲチャンネルに対応するオーディオ信号を生成する。

オーディオ信号制御部１６３は、定位処理部１６２によって音像定位処理が行われた、ステレオＬチャンネルに対応するオーディオ信号及びステレオＲチャンネルに対応するオーディオ信号を含むステレオ信号を、通信部１５を介してヘッドホン２に出力する。

また、オーディオ信号制御部１６３は、オーディオデータに含まれる複数のオーディオ信号のうち、ユーザ５の頭頂方向から前方の位置に対応するチャンネルに対応するオーディオ信号を抽出する。さらに、オーディオ信号制御部１６３は、抽出したオーディオ信号を、スピーカ３に、通信部１５を介して、送信する。ユーザ５の頭頂方向から前方の位置に対応するチャンネルについては後述する。

ヘッドホン２について、図４を参照して説明する。ヘッドホン２は、図４に示すように、通信部２１と、フラッシュメモリ２２と、ＲＡＭ２３と、ユーザインタフェース（Ｉ／Ｆ）２４と、制御部２５と、出力部２６とを備えている。

ユーザＩ／Ｆ２４は、ユーザ５からの操作を受け付ける。ユーザＩ／Ｆ２４は、例えば、コンテンツ再生のオン／オフの切り替え操作、又は、音量レベルの調節操作を受け付ける。

通信部２１は、携帯端末１から、オーディオ信号を受信する。また、通信部２１は、ユーザＩ／Ｆ２４で受け付けたユーザ操作に基づく信号を携帯端末１に送信する。

制御部２５は、フラッシュメモリ２２に記憶されている動作用プログラムをＲＡＭ２３に読み出し、種々の機能を実行する。

出力部２６は、スピーカユニット２６３Ｌと、スピーカユニット２６３Ｒとに接続される。出力部２６は、信号処理が施されたオーディオ信号をスピーカユニット２６３Ｌ、スピーカユニット２６３Ｒに出力する。出力部２６は、ＤＡコンバータ（以下、ＤＡＣと称す）２６１と、増幅器（以下、ＡＭＰと称す）２６２とを有している。ＤＡＣ２６１は、信号処理が施されたデジタル信号をアナログ信号に変換する。ＡＭＰ２６２は、スピーカユニット２６３Ｌ、スピーカユニット２６３Ｒを駆動するために該アナログ信号を増幅する。出力部２６は、増幅されたアナログ信号（オーディオ信号）をスピーカユニット２６３Ｌ、スピーカユニット２６３Ｒに出力する。

実施形態１のオーディオシステム１００は、図５に示すように、例えば、空間４で使用される。空間４は、例えば、リビングルームである。ユーザ５は、空間４の中央付近でヘッドホン２を介してコンテンツを聴いている。

ところで、ヘッドホン２の使用時において、頭部伝達関数を用いた音像定位を行う際、音像が定位し難いときがある。例えば、ヘッドホン使用時において、仮想スピーカの位置が図６に示すように、ユーザ５の頭頂方向から前方に係る領域Ａ１に含まれている場合、音像が定位し難くなる。特に、ユーザ５は、仮想スピーカの位置が領域Ａ１に存在する場合仮想スピーカとの「前方定位」または「距離感」が得られない場合がある。音像定位は、視覚にも影響する。頭部伝達関数による音像定位は仮想的な定位であるため、携帯端末１は、ユーザ５の領域Ａ１に仮想スピーカを実際に見ることができない。従って、ユーザ５は、仮想スピーカの位置が領域Ａ１に存在するときでも、領域Ａ１に存在する仮想スピーカの音像を知覚できず、ヘッドホン（頭部）２の位置に知覚する場合がある。

これに対して、本実施形態のオーディオシステム１００は、ユーザ５の前方にあるスピーカに音を放音させる。例えば、ユーザ５は、図５に示すように、部屋の前方（前後方向Ｙ１の前）を向いてコンテンツを視聴している。空間４の前方（前後方向Ｙ１の前）かつ左右方向Ｘ１の中心には、スピーカ３が配置されている。言い換えると、スピーカ３は、ユーザ５の正面に配置されている。この例において、携帯端末１は、ユーザ５の頭頂方向から前方の位置に対応するチャンネルをセンタＣチャンネルとする。さらに、携帯端末１は、ユーザ５の正面にあるスピーカ３を、センタＣチャンネルに係る音を放音するスピーカとして決定する。携帯端末１は、センタＣチャンネルに対応するオーディオ信号をスピーカ３に送信する。

スピーカ３は、ユーザ５の前方の離れた位置から実際にセンタＣチャンネルに係る音を放音する。これによって、ユーザ５は、当該センタＣチャンネルに係る音像を前方の離れた位置に知覚することができる。従って、本実施形態のオーディオシステム１００は、頭部伝達関数では得られない「前方定位」および「距離感」をスピーカ３で補うことで、定位感を向上させることができる。

スピーカ３について、図７を参照して説明する。スピーカ３は、図７に示すように、表示器３１と、通信部３２と、フラッシュメモリ３３と、ＲＡＭ３４と、制御部３５と、信号処理部３６と、出力部３７と、を備えている。

表示器３１は、複数のＬＥＤ又はＬＣＤからなる。表示器３１は、例えば、携帯端末１と接続されているかどうかの状態を表示する。また、表示器３１は、例えば、再生中のコンテンツ情報を表示してもよい。この場合、スピーカ３は、携帯端末１から、コンテンツに含まれるコンテンツ情報を受信する。

通信部３２は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線通信Ｉ／Ｆを含む。通信部３２は、携帯端末１から、無線通信で、センタＣチャンネルに対応するオーディオ信号を受信する。

制御部３５は、記憶媒体であるフラッシュメモリ３３に記憶されているプログラムをＲＡＭ３４に読み出して、種々の機能を実現する。制御部３５は、通信部３２を介して受信したオーディオ信号を信号処理部３６に入力する。

信号処理部３６は、１乃至複数のＤＳＰからなる。信号処理部３６は、入力したオーディオ信号に種々の信号処理を施す。信号処理部３６は、例えば、イコライザ処理等の信号処理をオーディオ信号に施す。

出力部３７は、ＤＡコンバータ（ＤＡＣ）３７１、増幅器（ＡＭＰ）３７２、及びスピーカユニット３７３を備えている。ＤＡコンバータ３７１は、信号処理部３６で信号処理された、オーディオ信号をアナログ信号に変換する。増幅器３７２は、アナログ信号を増幅する。スピーカユニット３７３は、増幅されたアナログ信号をスピーカユニット３７３から放音する。なお、スピーカユニット３７３は、別体でもよい。

オーディオシステム１００における携帯端末１の動作について、図８を参照して説明する。

携帯端末１は、オーディオデータを取得すると（Ｓ１１：Ｙｅｓ）、オーディオデータに含まれるオーディオ信号のうち、センタＣチャンネルに対応するオーディオ信号があるかどうか判定する（Ｓ１２）。携帯端末１は、センタＣチャンネルに対応するオーディオ信号がある場合（Ｓ１２：Ｙｅｓ）、センタＣチャンネルに対応するオーディオ信号をスピーカ３に送信する（Ｓ１３）。携帯端末１は、各チャンネルに対応するオーディオ信号に頭部伝達関数を使用して音像定位処理を行う（Ｓ１４）。携帯端末１は、音像定位処理が行われたオーディオ信号をヘッドホン２に送信する（Ｓ１５）。

スピーカ３は、携帯端末１から送信されたオーディオ信号を受信する。スピーカ３は、受信したオーディオ信号に基づいて放音する。

携帯端末１は、携帯端末１は、センタＣチャンネルに対応するオーディオ信号がない場合（Ｓ１２：Ｎｏ）、処理を音像定位処理（Ｓ１４）に移す。

ヘッドホン２は、携帯端末１から送信されたオーディオ信号を受信する。ヘッドホン２は、受信したオーディオ信号に基づいて放音する。

携帯端末１は、ユーザ５がヘッドホン２を使用しているときに、仮想スピーカの音像定位が難しいときがある。この場合、定位感を補うために、ユーザ５の前方に位置するスピーカ（この例ではスピーカ３）に、センタＣチャンネルに対応するオーディオ信号を送信する。これにより、ヘッドホン２だけでは音像が定位し難い場合でも、スピーカ３が、センタＣチャンネルに対応するオーディオ信号に基づいて放音することで、定位感を補うことができる。携帯端末１は、ヘッドホン２使用時に、ユーザ５にとって音像が定位し難い方向の音像定位を向上させることができる。

なお、上述の例では、スピーカ３にセンタＣチャンネルに対応するオーディオ信号を送信する例で説明したが、Ｌチャンネル及びＲチャンネルも、リスナの頭頂方向から前方の位置に対応するチャンネルの一例である。携帯端末１は、例えば、Ｌチャンネル又はＲチャンネルに対応するオーディオ信号をスピーカ３に送信してもよい。また、ユーザ５の前方左側及び前方右側にスピーカが設置されている場合、携帯端末１は、Ｌチャンネルのオーディオ信号を前方左側のスピーカに送信し、Ｒチャンネルのオーディオ信号を前方右側のスピーカに送信する。

［実施形態２］
実施形態２でのオーディオシステム１００は、携帯端末１Ａによって、スピーカ３から方音される音の音量レベルを調節する。実施形態２について、図９及び図１０を参照して説明する。図９は、実施形態２の携帯端末１Ａの主要な構成の一例を示すブロック構成図である。図１０は、実施形態２の携帯端末１Ａの動作を示すフローチャートである。なお、実施形態１と同じ構成については、同じ符号を付し、詳細な説明は省略する。

携帯端末１Ａは、スピーカ３から放音される音の音量レベルを制御する。携帯端末１Ａは、図９に示すように、音量レベル調節部１６４をさらに備える。音量レベル調節部１６４は、頭頂方向から前方の位置に対応するチャンネルである、センタＣチャンネルに対応するオーディオ信号を受信するスピーカ３から放音される音の音量レベルを調節する。音量レベル調節部１６４は、スピーカ３に送信するオーディオ信号の音量レベルを調節し、音量レベルを調節したオーディオ信号を、通信部１５を介してスピーカ３に送信する。

例えば、実施形態１の例では、スピーカ３からセンタＣチャンネルに係る音が放音される。この場合、センタＣチャンネルに係る音が、ヘッドホン２及びスピーカ３の両方から放音されるので、センタＣチャンネルに係る音の音量レベルは、センタＣチャンネル以外のチャンネルに係る音の音量レベルよりも相対的に大きくなってしまうことがある。

そこで、携帯端末１Ａは、ユーザ５からの操作に基づいて、スピーカ３に送信するオーディオ信号の音量レベルを調節する。この場合、ユーザ５は、コンテンツを再生する前、又は再生中において、携帯端末１ＡのユーザＩ／Ｆ１２を介して、受け付けた操作に基づいて、スピーカ３に送信するオーディオ信号の音量レベルを調節する。そして、携帯端末１Ａは、音量レベルを調節したオーディオ信号をスピーカ３に送信する。スピーカ３は、音量レベルが調節されたオーディオ信号を受信する。

携帯端末１Ａによる、音量レベルの調節の動作の一例について、図１０を参照して説明する。携帯端末１Ａは、ユーザＩ／Ｆ１２を介して、音量レベル調節操作を受け付けると（Ｓ２１：Ｙｅｓ）、音量レベル調節操作に基づいて、スピーカ３に送信するオーディオ信号の音量レベルを調節する（Ｓ２２）。携帯端末１Ａは、音量レベルを調節したオーディオ信号をスピーカ３に送信する（Ｓ２３）。

このように、実施形態２の携帯端末１Ａは、スピーカ３から放音される音の音量レベルをユーザ５からの操作に基づいて調節する。これにより、ユーザ５は、センタＣチャンネルに係る音がセンタＣチャンネル以外のチャンネルに係る音よりも大き過ぎると感じる場合には、スピーカ３の音の音量レベルを下げることで、違和感無くコンテンツを聴くことができる。なお、ユーザ５は、ヘッドホン２使用時において、定位感が弱いと感じた場合に、スピーカ３の音の音量レベルを上げることで、音像定位を向上させることもできる。

なお、音量レベル調節部１６４は、音量レベルを示す音量レベル情報を生成し、該音量レベル情報を、通信部１５を介してスピーカ３に送信してもよい。より具体的には、音量レベル調節部１６４は、受け付けた音量レベル調節操作に応じて、スピーカ３から放音される音の音量を調節するための音量レベル情報を、スピーカ３に送信する。スピーカ３は、受信した音量レベル情報に基づいて、放音する音の音量レベルを調節する。

［実施形態３］
実施形態３のオーディオシステム１００は、ヘッドホン２Ａに設置したマイクを介して外部音を取得する。ヘッドホン２Ａは、取得した外部音をスピーカユニット２６３Ｌ及びスピーカユニット２６３Ｒから出力する。実施形態３について、図１１を参照して説明する。図１１は、実施形態３における、ヘッドホン２Ａの主要な構成を示すブロック構成図である。なお、実施形態１と同じ構成については、同じ符号を付し、詳細な説明は省略する。

ヘッドホン２Ａは、図１１に示すように、マイク２７Ｌ及びマイク２７Ｒを備えている。

マイク２７Ｌ及びマイク２７Ｒが外部音を収音する。マイク２７Ｌは、例えば、ユーザ５の左耳に装着されるヘッドユニットに設けられている。また、マイク２７Ｒは、例えば、ユーザ５の右耳に装着されるヘッドユニットに設けられている。

ヘッドホン２Ａは、例えば、スピーカ３から音が放音されると、マイク２７Ｌ及びマイク２７Ｒがオンになる。すなわち、ヘッドホン２Ａは、例えば、スピーカ３から音が放音されると、マイク２７Ｌ及びマイク２７Ｒが外部音を収音する。

ヘッドホン２Ａは、マイク２７Ｌ及びマイク２７Ｒが収音した音信号を信号処理部２８によってフィルタリングする。ヘッドホン２Ａは、収音信号をそのままスピーカユニット２６３Ｌ及びスピーカユニット２６３Ｒから放音せず、収音信号と実際の外部音との音質の違いを補正するフィルタ係数でフィルタリングを行う。より具体的には、ヘッドホン２Ａは、収音した音をデジタル変換し、信号処理を施す。ヘッドホン２Ａは、信号処理を施した音信号をアナログ信号に変換して、スピーカユニット２６３Ｌ及びスピーカユニット２６３Ｒから放音する。

このようにして、ヘッドホン２Ａは、信号処理が施された音信号を、ユーザ５にとって外部音を直接聴いた場合と同じような音質になるように調節する。これにより、ユーザ５は、外部音を、ヘッドホン２Ａを介さずに直接聴いているような感覚で聴くことができる。

実施形態３のオーディオシステム１００において、携帯端末１は、ユーザ５の頭頂方向から前方の位置に対応するチャンネルであるセンタＣチャンネルに対応するオーディオ信号をスピーカ３に送信する。スピーカ３は、オーディオ信号に基づいて、放音する。ヘッドホン２Ａは、マイク２７Ｌ及びマイク２７Ｒによってスピーカ３が放音した音を収音する。ヘッドホン２Ａは、収音した音に基づくオーディオ信号に信号処理を施して、スピーカユニット２６３Ｌ及び２６３Ｒから放音する。ユーザ５は、あたかもヘッドホン２Ａを装着していないかのように、外部音を聞くことができる。これにより、ユーザ５は、スピーカ３から放音された音を知覚し、仮想スピーカとの距離間をより強く認識することができる。従って、オーディオシステム１００は、より音像定位を向上することができる。

なお、実施形態３のヘッドホン２Ａは、外部音を収音したタイミングで、センタＣチャンネルに対応するオーディオ信号を停止（音量レベルを０レベルに調節）してもよい。この場合、ヘッドホン２Ａは、センタＣチャンネル以外のチャンネルに係る音のみを放音する。

また、マイク２７Ｌ及びマイク２７Ｒがスピーカ３からの音を収音しない場合、マイク２７Ｌ及びマイク２７Ｒは、オフの状態であってもよい。

また、マイク２７Ｌ及びマイク２７Ｒは、スピーカ３から音が放音されていない場合であっても、外部の音を収音するように、オン状態に設定されていてもよい。この場合、ヘッドホン２Ａは、ノイズキャンセリング機能を使用して、外部からのノイズを抑制することができる。ノイズキャンセリング機能とは、収音した音（ノイズ）と逆位相の音を生成して、オーディオ信号に基づく音と共に放音することである。ヘッドホン２Ａは、ノイズキャンセリング機能がオンの状態であって、かつ、スピーカ３から音が放音されたときには、ノイズキャンセリング機能をオフにする。より詳細には、ヘッドホン２Ａは、マイク２７Ｌ及びマイク２７Ｒから収音した音が、スピーカ３から放音された音であるか否かを判定する。ヘッドホン２Ａは、収音した音がスピーカ３から放音された音であった場合、ノイズキャンセリング機能をオフにして、収音した音に信号処理を施して、放音する。

［実施形態４］
実施形態４のオーディオシステム１００では、スピーカ位置情報に基づいて、ヘッドホン２に出力するオーディオ信号の出力タイミングを調節する。実施形態４の携帯端末１Ｂについて、図１２を参照して説明する。図１２は、実施形態４の携帯端末１Ｂの主要な構成を示すブロック構成図である。なお、実施形態１と同じ構成については、同じ符号を付し、詳細な説明は省略する。

スピーカ３から放音される音と、ヘッドホン２から放音される音とのタイミングが異なる場合がある。具体的には、ヘッドホン２は、ユーザ５の耳に装着されて、音が直接耳に放音される。これに対し、スピーカ３はユーザ５との間に空間があり、スピーカ３から放音される音は、空間４を介してユーザ５の耳に届く。このように、スピーカ３から放音される音は、ヘッドホン２から放音される音よりも、遅延してユーザ５の耳に届く。携帯端末１Ｂは、スピーカ３から放音される音と、ヘッドホン２から放音される音とのタイミングを合わせるために、例えば、ヘッドホン２から放音されるタイミングを遅らせる。

携帯端末１Ｂは、図１２に示すように、信号処理部１７を備えている。信号処理部１７は、１乃至複数のＤＳＰで構成されている。この例では、携帯端末１Ｂは、リスニングポジションとスピーカ３の配置場所を記憶している。携帯端末１Ｂは、例えば、空間４を模した画面を表示する。携帯端末１Ｂは、リスニングポジションと、スピーカ３との遅延時間を算出する。例えば、携帯端末１Ｂは、スピーカ３からのテスト音を放音するように、指示信号をスピーカ３に送信する。携帯端末１Ｂは、スピーカ３からテスト音を受信することで、指示信号を送信した時間とテスト音を受信した時間との差異に基づいて、スピーカ３の遅延時間を算出する。信号処理部１７は、リスニングポジションとスピーカ３との遅延時間に応じて、ヘッドホン２に送信するオーディオ信号に遅延処理を施す。

実施形態４の携帯端末１Ｂは、ヘッドホン２に送信するオーディオ信号に遅延処理を施すことで、スピーカ３から放音される音と、ヘッドホン２から放音される音との到達タイミングを調節する。これにより、ユーザ５は、スピーカ３から放音された音と、ヘッドホン２から放音された音とを同じタイミングで聴くので、同じ音のずれがなく、音質の低下を抑制することができる。従って、センタＣチャンネルに係る音がスピーカ３から放音された場合でも、違和感無くコンテンツを聴くことができる。

［変形例１］
変形例１の携帯端末１Ｃは、センタＣチャンネルに対応するセンタスピーカを決定する操作を、ユーザＩ／Ｆ１２を介して、受け付ける。また、携帯端末１は、該操作に基づいて、センタＣチャンネルに係る音を放音するセンタスピーカを決定する。変形例１の携帯端末１Ｃについて、図１３を参照して説明する。図１３は、変形例１の携帯端末１Ｃの主要な構成を示すブロック構成図である。なお、実施形態１と同じ構成については、同じ符号を付し、詳細な説明は省略する。

携帯端末１Ｃは、スピーカ決定部１６５を、備える。携帯端末１Ｃは、予め各スピーカの位置（例えば、座標）を記憶している。スピーカ決定部１６５は、ユーザ５からの操作に基づいて、センタスピーカを決定する。スピーカ決定部１６５は、例えば、表示器１１に、空間４を模した画面を表示する。この場合、画面には、携帯端末１Ｃに接続されているスピーカ及び該スピーカの位置が表示されている。スピーカ決定部１６５は、例えばユーザ５によってスピーカが選択されることによって、センタＣチャンネルに係る音を放音するスピーカを変更する。なお、携帯端末１Ｃに接続されているスピーカは、ＰＣ及び携帯に付属するスピーカも含む。

これにより、ユーザ５はセンタＣチャンネルに係る音を放音させたいスピーカを、携帯端末１を使用して自由に選択することができる。

なお、携帯端末１は、自端末と接続されている全てのスピーカのリストを表示させてもよい。

［変形例２］
変形例２の携帯端末１Ｄは、ユーザ５の向く方向であるセンタ方向を検出し、検出したセンタ方向に基づいてオーディオ信号を送信するスピーカを決定する。変形例２の携帯端末１Ｄについて図１４を参照して説明する。図１４は、変形例２の携帯端末の主要な構成を示すブロック構成図である。携帯端末１Ｄは、図１４に示すように、センタ方向検出部１６６を備えている。センタ方向検出部１６６は、ユーザ５のセンタ方向に係るセンタ方向情報を、ヘッドホン２から受信し、受信したセンタ方向情報に基づいて、センタＣチャンネルに対応するオーディオ信号を送信するスピーカを決定する。

携帯端末１Ｄは、ユーザ５のセンタ方向を、ヘッドトラッキング機能を使用して検出する。ヘッドトラッキング機能は、ヘッドホン２が有する機能である。ヘッドホン２は、装着しているユーザ５の頭部の動きを追跡する。

センタ方向検出部１６６は、ユーザ５の操作に基づいて、基準となる方向を決定する。センタ方向検出部１６６は、例えば、ユーザ５からの操作によって、スピーカ３の方向を受け付けて記憶しておく。例えば、センタ方向検出部１６６は、表示器１１に「センタリセット」と記載されたアイコンを表示し、ユーザ５からの操作を受け付ける。ユーザ５は、スピーカ３の方向を向いている時に当該アイコンをタップする。センタ方向検出部１６６は、タップされた時点のセンタ方向にスピーカ３が設置されているとみなして、スピーカ３の方向（基準方向）を記憶する。この場合、携帯端末１Ｄは、スピーカ３をセンタＣチャンネルに対応するスピーカとして決定する。なお、携帯端末１Ｄは、起動時に「センタリセット」の操作を受け付けたものとみなしてもよいし、本実施形態に示すプログラムの起動時に「センタリセット」の操作を受け付けたものとみなしてもよい。

ヘッドホン２は、加速度センサ、ジャイロセンサ等の複数のセンサを備えている。ヘッドホン２は、例えば、加速度センサ又はジャイロセンサを使用して、ユーザ５の頭部の向きを検出する。ヘッドホン２は、加速度センサ又はジャイロセンサの出力値からユーザ５の頭部が動いた変化量を算出する。ヘッドホン２は、算出したデータを携帯端末１に送信する。センタ方向検出部１６６は、上述の基準方向を基準として、変化した頭部の角度を算出する。センタ方向検出部１６６は、算出した角度に基づいて、センタ方向を検出する。センタ方向検出部１６６は、一定の間隔で、頭部の向きが変化した角度を算出し、算出した時点で利用者が向いている方向をセンタ方向としてもよい。

携帯端末１Ｄは、センタＣチャンネル対応するスピーカ（この例では、スピーカ３）にオーディオ信号を送信する。ユーザ５の頭部の向きが平面視して右に３０度変化した場合、スピーカ３は、ユーザ５の左３０度の方向に存在することになる。この場合、携帯端末１Ｄは、Ｌチャンネルに対応するオーディオ信号をスピーカ３に送信してもよい。また、ユーザ５の頭部の向きが平面視して左３０度変化した場合、スピーカ３は、ユーザ５の右３０度の方向に存在することになる。この場合、携帯端末１Ｄは、Ｒチャンネルに対応するオーディオ信号をスピーカ３に送信してもよい。

また、携帯端末１Ｄは、例えば、ユーザ５がスピーカ３に向かって「センタリセット」を押した後に、ユーザ５が右に９０度向くと、センタ方向が右９０度になる。すなわち、スピーカ３は、ユーザ５の左横に位置することになる。この場合、携帯端末１Ｄは、ユーザ５の頭部の向きが平面視して９０度以上変化した場合、スピーカ３へのオーディオ信号の送信を停止してもよい。

このように、ヘッドホン２のトラッキング機能を使用することで、携帯端末１Ｄは、ユーザ５のセンタ方向にスピーカが存在する場合にのみ、当該スピーカからセンタチャンネルに係る音を放音させることができる。従って、携帯端末１Ｄは、ユーザ５の頭部の向きに応じて適切にスピーカから音を放音させて、音像定位を向上させることができる。

［変形例３］
変形例３の携帯端末１及びスピーカとの相対的位置に係る検出方法について図１５を参照して説明する。図１５は、変形例３のオーディオシステム１００Ｂが使用される空間４の一例を示す模式図である。変形例３のオーディオシステム１００Ｂは、例えば、複数（５個）のスピーカを含んでいる。すなわち、空間４には、図１５に示すように、スピーカＳｐ１、スピーカＳｐ２、スピーカＳｐ３、スピーカＳｐ４及びスピーカＳｐ５が配置されている。

ユーザ５は、例えば、携帯端末１のマイクを使用してスピーカの位置を検出する。より具体的には、携帯端末１のマイクは、例えば、リスニングポジションに近接する３か所で、スピーカＳｐ１から放音されるテスト音を収音する。携帯端末１は、３か所で収音したテスト音に基づいて、スピーカＳｐ１の位置Ｐ１とリスニングポジションとの相対位置を算出する。携帯端末１は、３か所のそれぞれについて、テスト音の放音タイミングと該テスト音の収音タイミングとの時間差を算出する。携帯端末１は、算出した時間差に基づいてスピーカＳｐ１とマイクとの距離を求める。携帯端末１はマイクとの距離を３か所それぞれで求め、三角関数（三角測量）の原理により、スピーカＳｐ１の位置１とリスニングポジションとの相対位置を算出する。このように、スピーカＳｐ２～スピーカＳｐ５についても順次同様の方法で、リスニングポジションとの相対位置を算出する。

なお、ユーザ５は、マイクを３つ用意して同時に３か所でテスト音を収音させてもよい。また、リスニングポジションに近接する３か所のうち１箇所は、リスニングポジションであってもよい。

携帯端末１は、スピーカＳｐ１、スピーカＳｐ２、スピーカＳｐ３、スピーカＳｐ４及びスピーカＳｐ５とリスニングポジションとの相対的位置を記憶部に記憶する。

このように、変形例３のオーディオシステム１００Ｂでは、スピーカＳｐ１、スピーカＳｐ２、スピーカＳｐ３、スピーカＳｐ４及びスピーカＳｐ５の位置を自動で検出することができる。

なお、リスニングポジションは、ユーザからの操作によって、設定されてもよい。この場合、例えば、携帯端末１は、空間４を示す模式画面を表示して、ユーザからの操作を受け付ける。

さらに、携帯端末１は、検出したスピーカＳｐ１、スピーカＳｐ２、スピーカＳｐ３、スピーカＳｐ４及びスピーカＳｐ５の位置に基づいて、各スピーカに対応するチャンネルを自動的に割り当てる。この場合、携帯端末１は、例えば、センタ方向が空間４の前後方向Ｙ１の前方かつ左右方向Ｘ１の中心に設定されていれば、以下のように、検出した各スピーカにチャンネルを割り当てる。携帯端末１は、例えば、スピーカＳｐ１にＬチャンネルを、スピーカＳｐ２にセンタＣチャンネルを、スピーカＳｐ３にＲチャンネルを、スピーカＳｐ４にリアＬチャンネルを、スピーカＳｐ５にリアＲチャンネルを割り当てる。

また、携帯端末１は、ユーザ５のセンタ方向が複数のスピーカの間を向いている場合、ユーザ５のセンタ方向を挟んで設置されている２つのスピーカのそれぞれに対応するオーディオ信号に対してセンタＣチャンネルの音信号を所定のゲイン比で分配するパンニング処理を行い、ユーザ５のセンタ方向にファントム定位する仮想スピーカを設定してもよい。例えば、ユーザ５のセンタ方向がスピーカＳｐ４とスピーカＳｐ５との間を向いている場合、携帯端末１は、スピーカＳｐ４及びスピーカＳｐ５にセンタＣチャンネルに対応するオーディオ信号を所定のゲイン比で分配するパンニング処理を行う。また、同様にして、Ｌチャンネルのオーディオ信号、あるいはＲチャンネルのオーディオ信号に対してパンニング処理を行ってもよい。これにより、携帯端末１は、各チャンネルの方向に実在のスピーカが無い場合でも、複数のスピーカを用いたパンニング処理により、常に最適な方向に仮想スピーカを設定することで、常に適切なスピーカから各チャンネルの音を放音させて、音像定位を向上させることができる。

［変形例４］
変形例４のオーディオシステム１００Ｂは、変形例２に記載のセンタ方向検出部１６６を備える携帯端末１Ｄ及びヘッドトラッキング機能と、変形例３のスピーカ位置の自動検出機能と組み合わせることで、自動的にセンタ方向のスピーカを決定する。変形例４のオーディオシステム１００Ｂについて、図１６を参照して説明する。図１６は、変形例４のオーディオシステム１００Ｂであって、ユーザ５とスピーカＳｐ１、スピーカＳｐ２、スピーカＳｐ３、スピーカＳｐ４及びスピーカＳｐ５とを鉛直方向から見た（平面視した）説明図である。図１６において、紙面の左右方向に一点鎖線で表される方向を左右方向Ｘ２とする。また、図１６において、紙面の上下方向に一点鎖線で表される方向を前後方向Ｙ２とする。さらに、図１６において、紙面の左右方向に実線で表される方向を空間４の左右方向Ｘ１とする。また、図１６において、紙面の上下方向に実線で表される方向を前後方向Ｙ１とする。

図１６は、ユーザ５が、空間４の前方（前後方向Ｙ１の前、且つ左右方向Ｘ１の中央）を見ている状態から、後ろ右斜め方向（前後方向Ｙ１の後ろ、且つ左右方向Ｘ１の右）を見るように、頭部の向きを変更した場合を示す。ユーザ５が向いている方向は、ヘッドトラッキング機能によって、検出することができる。ここで、携帯端末１Ｄは、リスニングポジションとの相対的位置（各スピーカの設置されている方向）を記憶している。例えば、携帯端末１Ｄは、スピーカＳｐ２の設置方向を正面方向（０度）、スピーカＳｐ３の設置方向を３０度、スピーカＳｐ５の設置方向を１３５度、スピーカＳｐ１の設置方向を－３０度、スピーカＳｐ４の設置方向を－１３５度として記憶している。ユーザ５は、例えばスピーカＳｐ２の方向を向いている時に「センタリセット」等のアイコンをタップする。これにより、携帯端末１Ｄは、スピーカＳｐ２をセンタ方向のスピーカに決定する。この場合、携帯端末１Ｄは、スピーカＳｐ１にＬチャンネルに対応するオーディオ信号を送信する。また、携帯端末１Ｄは、スピーカＳｐ３にＲチャンネルに対応するオーディオ信号を送信する。

携帯端末１Ｄは、スピーカＳｐ１、スピーカＳｐ２、スピーカＳｐ３、スピーカＳｐ４及びスピーカＳｐ５のうち、ユーザ５のセンタ方向のスピーカを自動的に決定する。例えば、ユーザ５が平面視して右に３０度回転すると、携帯端末１Ｄは、センタ方向のスピーカをスピーカＳｐ２からスピーカＳｐ３に変更する。この場合、携帯端末１Ｄは、スピーカＳｐ３にセンタＣチャンネルに対応するオーディオ信号を送信する。また、携帯端末１Ｄは、スピーカＳｐ２に、Ｌチャンネルに対応するオーディオ信号を送信する。さらに、携帯端末１Ｄは、スピーカＳｐ５にＲチャンネルに対応するオーディオ信号を送信する。また、携帯端末１Ｄは、Ｒチャンネルに対応するオーディオ信号を所定のゲイン比でスピーカＳｐ３及びスピーカＳｐ５に分配するパンニング処理を行ってもよい。これにより、携帯端末１Ｄは、ユーザ５の右３０度の方向に仮想スピーカを設定して、Ｒチャンネルの音を右３０度の方向から到来させることができる。

図１６の例では、ユーザ５は、平面視して右に１３５度回転した方向を向いている。図１６で示されるユーザ５のセンタ方向は、方向ｄ１で示される。この時、ユーザ５のセンタ方向には、スピーカＳｐ５が配置されている。従って、携帯端末１Ｄは、センタ方向のスピーカをスピーカＳｐ３からＳｐ５に変更する。携帯端末１Ｄは、スピーカＳｐ５に、センタＣチャンネルに対応するオーディオ信号を送信する。携帯端末１Ｄは、Ｒチャンネルに対応するオーディオ信号を所定のゲイン比でスピーカＳｐ５及びスピーカＳｐ４に分配するパンニング処理を行う。これにより、携帯端末１Ｄは、ユーザ５の右３０度の方向に仮想スピーカを設定して、Ｒチャンネルの音を右３０度の方向から到来させることができる。さらに、携帯端末１Ｄは、Ｌチャンネルに対応するオーディオ信号を所定のゲイン比でスピーカＳｐ５及びスピーカＳｐ３に分配するパンニング処理を行う。これにより、携帯端末１Ｄは、ユーザ５の左３０度の方向に仮想スピーカを設定して、Ｌチャンネルの音を左３０度の方向から到来させることができる。

このようにして、携帯端末１Ｄは、定期的に、ユーザ５の向いている方向に一致するスピーカを判断して、ユーザ５のセンタ方向に設置されているスピーカが異なるスピーカになったと判断した場合に、センタ方向のスピーカを異なるスピーカに変更し、変更したスピーカにセンタＣチャンネルに対応するオーディオ信号を送信する。

また、携帯端末１Ｄは、ユーザ５のセンタ方向が複数のスピーカの間を向いている場合、ユーザ５のセンタ方向を挟んで設置されている２つのスピーカのうち、いずれかをセンタ方向のスピーカとして決定する。あるいは、携帯端末１Ｄは、ユーザ５のセンタ方向が複数のスピーカの間を向いている場合、ユーザ５のセンタ方向を挟んで設置されている２つのスピーカのそれぞれにセンタＣチャンネルのオーディオ信号を所定のゲイン比で分配するパンニング処理を行い、センタ方向に仮想スピーカを設定してもよい。

このように、携帯端末１Ｄは、ユーザ５のセンタ方向とスピーカの方向が一致した場合に、ユーザ５のセンタ方向一致する方向のスピーカに、センタＣチャンネルに対応するオーディオ信号を送信する。また、携帯端末１Ｄは、ユーザ５のセンタ方向がスピーカとスピーカとの間を向いていれば、該センタ方向の近くにある複数のスピーカにオーディオ信号を分配してもよい。これにより、携帯端末１Ｄは、常にユーザ５のセンタ方向にスピーカが存在するように設定することができ、ユーザ５の前方からの音を到達させることができる。

以上のように、変形例４の携帯端末１Ｄは、ヘッドトラッキング機能及びスピーカ位置の自動検出機能を使用することで、ユーザ５の動きに応じて、センタ方向にあるスピーカを自動的に決定できる。

［変形例５］
変形例５のオーディオシステム１００Ａは、複数のスピーカにオーディオ信号を送信する。変形例５のオーディオシステム１００Ａについて図１７を参照して説明する。図１７は、変形例５のオーディオシステム１００Ａが使用される空間４を示す模式図である。この例では、スピーカ３Ｌ、スピーカ３Ｒ及びスピーカ３Ｃを使用する。また、ユーザ５は、図１７に示すように、空間４の前方（前後方向Ｙ１の前）を向いて、コンテンツを視聴している。なお、実施形態１と同じ構成については、同じ符号を付し、詳細な説明は省略する。スピーカ３Ｌ、スピーカ３Ｒは、上述のスピーカ３と同じ構造及び機能を有しているので、詳細な説明は省略する。

携帯端末１は、例えば、空間４の前方に３つのスピーカ（スピーカ３Ｌ、スピーカ３Ｒ及びスピーカ３Ｃ）と接続されていた場合、３つのスピーカのそれぞれから音をさせる。より具体的には、携帯端末１は、ユーザ５の頭頂方向から前方の位置に対応する全てのチャンネルを、複数のスピーカ（この例では、スピーカ３Ｌ、スピーカ３Ｒ及びスピーカ３Ｃ）に対応させる。そして、携帯端末１は、頭頂方向から前方の位置に対応する全てのチャンネルのそれぞれに係る音を対応するスピーカから放音させる。この例では、携帯端末１は、スピーカ３Ｌには、Ｌチャンネルに対応するオーディオ信号を送信する。また、携帯端末１は、スピーカ３ＲにＲチャンネルに対応するオーディオ信号を送信する。さらに、携帯端末１は、センタＣスピーカにセンタＣチャンネルに対応するオーディオ信号を送信する。

変形例５のオーディオシステム１００Ａでは、頭頂方向から前方の位置に対応する全てのチャンネルを、複数のスピーカ（この例では、スピーカ３Ｌ、スピーカ３Ｒ及びスピーカ３Ｃ）に対応させ、複数のスピーカに各チャンネルのオーディオ信号を出力する。これにより、オーディオシステム１００Ａは、頭頂方向から前方の位置に対応する複数のスピーカで定位感を補うことで、音像をより正確に定位させることができる。従って、オーディオシステム１００Ａは、ヘッドホン２の使用時に、音像定位がより向上する。

［変形例６］
変形例６の携帯端末１は、複数のチャンネルのうち、ユーザ５の頭頂方向から前方の位置に対応するセンタＣチャンネルに対応するオーディオ信号をスピーカ３に送信し、Ｌチャンネル、Ｒチャンネル、リアＬチャンネル及びリアＲチャンネルに対応するオーディオ信号を、ヘッドホン２に送信する。

定位処理部１６２は、Ｌチャンネル、Ｒチャンネル、リアＬチャンネル及びリアＲチャンネル対応するオーディオ信号に、各チャンネルで定められた位置に音像を定位させる頭部伝達関数を付与する。ここで、センタＣチャンネルに関しては、スピーカ３にセンタＣチャンネルに対応するオーディオ信号を送信するので、音像定位処理をしない。定位処理部１６２は、各仮想スピーカＦＬ、ＦＲ、ＲＬ、ＲＲの位置（図２参照）から左耳に至る頭部伝達関数を畳み込んだ、ステレオＬチャンネルに対応するオーディオ信号と、各仮想スピーカＦＬ、ＦＲ、ＲＬ、ＲＲ（図２参照）の位置から右耳に至る頭部伝達関数を畳み込んだ、ステレオＲチャンネルに対応するオーディオ信号を生成する。

オーディオ信号制御部１６３は、定位処理部１６２によって音像定位処理が行われた、ステレオＬチャンネルに対応するオーディオ信号及びステレオＲチャンネルに対応するオーディオ信号を含むステレオ信号を、通信部１５を介してヘッドホン２に出力する。

これにより、携帯端末１は、領域Ａ１に存在する仮想スピーカＣがヘッドホン（頭部）２の位置に知覚するという現象を軽減させ、スピーカ３から放音されたセンタＣチャンネルに係る音を知覚することができる。よって、ユーザ５は、Ｃチャンネルに係る音の距離間をより強く認識することができる。従って、携帯端末１は、ヘッドホン２の使用時に、ユーザ５にとって音像が定位し難い方向の音像定位を向上させることができる。

［上記以外の変形例］
オーディオシステムで使用されるスピーカは、空間４に配置される固定のスピーカに限定されない。スピーカは、例えば、携帯端末１に付随するスピーカであってもよい。また、スピーカは、例えば、モバイル式のスピーカ、ＰＣのスピーカなどでもよい。

また、上述の例では、オーディオ信号を無線通信で送信する例で説明したが、これに限定されない。携帯端末１、１Ａ、１Ｂ、１Ｃ、１Ｄは、有線を使用してオーディオ信号をスピーカ又はヘッドホンに送信してもよい。また、この場合、携帯端末１、１Ａ、１Ｂ、１Ｃ、１Ｄは、アナログ信号をスピーカ又はヘッドホンに送信してもよい。

上述の例では、５チャンネルの例で説明したが、これに限定されない。オーディオデータは、３チャンネル、５．１チャンネル、７．１チャンネルなど、サラウンドに対応するオーディオシステムは、ユーザ５にとって音像が定位し難い方向の音像定位を向上させることができる、という効果より発揮できる。

また、スピーカ３がセンタＣチャンネルに対応するオーディオ信号に係る音を放音するとき、ヘッドホン２からも、音像定位処理が行われたセンタＣチャンネルに対応するオーディオ信号に基づく音を放音してもよい。

最後に、本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲は、特許請求の範囲と均等の範囲を含む。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ…携帯端末（オーディオ信号出力装置）
２、２Ａ…ヘッドホン（イヤホン）
３、３Ｌ、３Ｒ、３Ｃ…スピーカ
１２…ユーザＩ／Ｆ（ユーザインタフェース）
１７…信号処理部
２７Ｌ、２７Ｒ…マイク
１６１…オーディオデータ取得部
１６２…定位処理部
１６３…オーディオ信号制御部
１６４…音量レベル調節部
１６５…スピーカ決定部
１６６…センタ方向検出部

Claims (23)

1. 複数のチャンネルのそれぞれに対応するオーディオ信号を含むオーディオデータを取得し、
   前記複数のチャンネルのそれぞれに対応するオーディオ信号に、各チャンネルで定められた位置に音像を定位させる頭部伝達関数を付与し、
   前記頭部伝達関数が付与されたオーディオ信号を、イヤホンに出力し、
   前記オーディオデータに含まれる複数のオーディオ信号のうち、リスナの頭頂方向から前方の位置に対応するチャンネルのオーディオ信号を、スピーカに出力する、
   オーディオ信号出力方法。
2. 前記リスナの頭頂方向から前方の位置に対応するチャンネルは、センタＣチャンネルを含む、
   請求項１に記載のオーディオ信号出力方法。
3. 前記センタＣチャンネルに対応するセンタスピーカを決定する操作を受け付け、
   該操作に基づいて、前記センタスピーカを決定する、
   請求項２に記載のオーディオ信号出力方法。
4. 前記リスナの向く方向であるセンタ方向を検出し、
   検出した前記センタ方向に基づいて、前記オーディオ信号を出力するスピーカを決定する、
   請求項１乃至３のいずれかに記載のオーディオ信号出力方法。
5. 前記センタ方向をヘッドトラッキング機能によって検出する、
   請求項４に記載のオーディオ信号出力方法。
6. 前記スピーカから放音される音の音量レベルを調節する、
   請求項１乃至５のいずれかに記載のオーディオ信号出力方法。
7. 前記リスナの前方から頭頂の位置に対応するチャンネルが複数のチャンネルを含み、
   前記スピーカは、複数のスピーカを含み、
   前記複数のチャンネルのそれぞれに対応するオーディオ信号を前記複数のスピーカのそれぞれ対応するスピーカに出力する、
   請求項１乃至６のいずれかに記載のオーディオ信号出力方法。
8. 前記イヤホンに設置したマイクを介して、前記スピーカの出力する音を含む外部音を取得し、
   前記スピーカの出力する音を前記イヤホンから出力する、
   請求項１乃至７のいずれかに記載のオーディオ信号出力方法。
9. 前記スピーカの位置情報を取得し、
   前記スピーカの位置情報に基づいて、前記イヤホンに出力する前記オーディオ信号の出力タイミングを調節する信号処理を行う
   請求項１乃至８のいずれかに記載のオーディオ信号出力方法。
10. 前記スピーカの位置情報を計測して取得する、
    請求項９に記載のオーディオ信号出力方法。
11. 前記複数のチャンネルのうち、前記リスナの頭頂方向から前方の位置に対応する第１チャンネルに対応するオーディオ信号を前記スピーカに出力し、前記第１チャンネルと異なる１乃至複数の第２チャンネルに対応するオーディオ信号を、前記イヤホンに出力する、
    請求項１乃至１０のいずれかに記載のオーディオ信号出力方法。
12. 複数のチャンネルのそれぞれに対応するオーディオ信号を含むオーディオデータを取得するオーディオデータ取得部と、
    前記複数のチャンネルのそれぞれに対応するオーディオ信号に、各チャンネルで定められた位置に音像を定位させる頭部伝達関数を付与する、定位処理部と、
    前記頭部伝達関数が付与されたオーディオ信号を、イヤホンに出力し、前記オーディオデータに含まれる複数のオーディオ信号のうち、リスナの頭頂方向から前方の位置に対応するチャンネルのオーディオ信号を、スピーカに出力するオーディオ信号制御部と、を備える、
    オーディオ信号出力装置。
13. 前記リスナの前方から頭頂の位置に対応する前記チャンネルは、センタＣチャンネルを含む、
    請求項１２に記載のオーディオ信号出力装置。
14. 前記センタＣチャンネルに対応するセンタスピーカを決定する操作を受け付けるユーザインタフェースと、
    該と、を備える。
    請求項１３に記載のオーディオ信号出力装置。
15. 前記リスナの向く方向であるセンタ方向を検出し、検出した前記センタ方向に基づいて、前記オーディオ信号を出力するスピーカを決定するセンタ方向検出部をさらに備える、
    請求項１２乃至１４のいずれかに記載のオーディオ信号出力装置。
16. 前記センタ方向検出部は、前記センタ方向をヘッドトラッキング機能によって検出する、
    請求項１５に記載のオーディオ信号出力装置。
17. 前記スピーカから放音される音の音量レベルを調節する音量レベル調節部を備える、
    請求項１２乃至１６のいずれかに記載のオーディオ信号出力装置。
18. 前記リスナの前方から頭頂の位置に対応するチャンネルは、複数のチャンネルを含み、
    前記スピーカは、複数のスピーカを含み、
    前記複数のチャンネルのそれぞれに対応するオーディオ信号を前記複数のスピーカのそれぞれ対応するスピーカに出力する、
    請求項１２乃至１７のいずれかに記載のオーディオ信号出力装置。
19. 前記イヤホンは、前記イヤホンに設置したマイクを介して、前記スピーカの出力する音を含む外部音を取得し、取得した前記外部音を前記イヤホンから出力する、
    請求項１２乃至１８のいずれかに記載のオーディオ信号出力装置。
20. 前記オーディオ信号制御部は、前記スピーカのスピーカ位置情報を取得し、前記スピーカ位置情報に基づいて、前記イヤホンに出力する前記オーディオ信号の出力タイミングを調節する信号処理を行う、
    請求項１２乃至１９のいずれかに記載のオーディオ信号出力装置。
21. 前記オーディオ信号制御部は、前記スピーカ位置情報を計測して取得する、
    請求項２０に記載のオーディオ信号出力装置。
22. 前記オーディオ信号制御部は、前記複数のチャンネルのうち、前記リスナの頭頂方向から前方の位置に対応する第１チャンネルに対応するオーディオ信号を前記スピーカに出力し、前記第１チャンネルと異なる１乃至複数の第２チャンネルに対応するオーディオ信号を、前記イヤホンに出力する、
    請求項１２乃至２１のいずれかに記載のオーディオ信号出力装置。
23. 請求項１２乃至２２のいずれかに記載の前記オーディオ信号出力装置と、
    前記オーディオ信号出力装置から前記オーディオ信号を受け付ける第１オーディオ信号受付部と、
    前記オーディオ信号に基づいて放音する第１放音部と、を有する、
    イヤホンと、
    前記オーディオ信号出力装置から前記オーディオ信号を受け付ける第２オーディオ信号受付部と、
    前記オーディオ信号を放音する第２放音部と、を有する
    スピーカと、
    を備える、
    オーディオシステム。

Images