JP2008193382A

JP2008193382A - 携帯電話機、及び音声調整方法

Info

Publication number: JP2008193382A
Application number: JP2007025339A
Authority: JP
Inventors: Takuji Ikeda; 卓史池田; Takashi Kawaguchi; 隆司川口
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2007-02-05
Filing date: 2007-02-05
Publication date: 2008-08-21

Abstract

【課題】従来の音像定位方法によると、使用者の頭・耳の形状等の個人差を考慮した頭部伝達関数の補正がなされておらず、正確な音像定位が困難という問題があった。
【解決手段】本発明に係る音声調整方法は、上記課題を解決するためになされたものであり、音源信号に対して頭部伝達関数を用いて音像定位処理を施して出力音声信号を生成する音像定位処理と、この音像定位処理が施された前記出力音声信号をサンプル音として出力する音声信号出力処理と、サンプル音が出力されていることを通知するとともに、サンプル音の到来方向を入力するよう要求するメッセージを表示する表示処理と、入力されたサンプル音の到来方向に基づいて、頭部伝達関数の補正を行う頭部伝達関数補正処理とを実行することで、使用者特有の個人差を考慮した頭部伝達関数の補正と正確な音像定位の実現が可能となった。
【選択図】図４

Description

この発明は、音像定位機能を搭載する携帯電話機、及び使用者にとって最適な音像を生じさせる音声調整方法に関する。

従来の音像定位機能を搭載する装置においては、音響信号などを含む受信信号を受信する受信部と、受信した音響信号に受聴状態に応じて補正を行う補正部と、音声などを収録するマイクと、マイクで収録した音響信号に音像定位処理を行う音像定位処理部と、補正部と音像定位処理部の制御を行う制御部と、音響信号を送信する送信部とを備えており、補正部では、ヘッドホンまたはイヤホンが外耳に装着されることによって変化する外耳道伝達関数の補正を行い、また補正部には音響信号を再生するステレオヘッドホンが接続されている。(例えば、特許文献１参照)

特開２００３−１０２０９９号公報

しかし、特許文献１に記載の装置では、ヘッドホンまたはイヤホンを装着したときの外耳道伝達関数の補正しか行っておらず、実聴者の頭・耳の形状等の個人差を考慮した音像定位ができていないという問題があった。

また、特許文献１に記載の装置における音像定位処理の別の例として、標準の頭部伝達関数と目標とする頭部伝達関数との差分を修正する頭部伝達関数修正処理部を備え、かつ、目標とする頭部伝達関数としては、受聴者個人の頭部伝達関数などを設定すると記載されている。しかし、受聴者個人の頭部伝達関数、すなわち音像を定位させたい全ての方向について、頭部インパルス応答を測定しなければならず測定に多大な時間と労力が必要であるという問題があった。

また、携帯電話機のスピーカから音像定位させた音を再生する際、例えば、スピーカと使用者の耳の位置関係が変化した場合、音源から使用者の耳までの伝達関数が変化してしまい、正確な音像定位ができないという問題があった。

本発明に係る音声調整方法は、上記課題を解決するためになされたものであり、音源信号に対して頭部伝達関数を用いて音像定位処理を施して出力音声信号を生成する音像定位処理と、この音像定位処理が施された出力音声信号をサンプル音として出力する音声信号出力処理と、サンプル音が出力されていることを通知するとともに、サンプル音の到来方向を入力するよう要求するメッセージを表示する表示処理と、入力されたサンプル音の到来方向に基づいて、頭部伝達関数の補正を行う頭部伝達関数補正処理とを含むものである。

本発明にかかる音声調整方法は、音源信号に対して頭部伝達関数を用いて音像定位処理を施し、出力音声信号を生成する音像定位処理と、この音像定位処理が施された出力音声信号をサンプル音として出力する音声信号出力処理と、サンプル音が出力されていることと、現在出力されているサンプル音の到来方向を通知するとともに、サンプル音が実際に聞こえる方向と通知されている到来方向を一致させるようにユーザに要求するメッセージを表示する表示処理と、メッセージに応じてユーザにより施された調整結果に基づいて、頭部伝達関数の補正を行う頭部伝達関数補正処理とを含むものである。

本発明は、音源信号に対して頭部伝達関数を用いて音像定位処理を施して出力音声信号を生成する音像定位処理と、この音像定位処理が施された出力音声信号をサンプル音として出力する音声信号出力処理と、サンプル音が出力されていることを通知するとともに、サンプル音の到来方向を入力するよう要求するメッセージを表示する表示処理と、入力されたサンプル音の到来方向に基づいて、頭部伝達関数の補正を行う頭部伝達関数補正処理とを含むので、使用者の頭・耳の形状などの個人差を考慮した頭部伝達関数の最適化処理が可能となり、正確な音像定位が可能となる。

本発明は、音源信号に対して頭部伝達関数を用いて音像定位処理を施し、出力音声信号を生成する音像定位処理と、この音像定位処理が施された出力音声信号をサンプル音として出力する音声信号出力処理と、サンプル音が出力されていることと、現在出力されているサンプル音の到来方向を通知するとともに、サンプル音が実際に聞こえる方向と通知されている到来方向を一致させるようにユーザに要求するメッセージを表示する表示処理と、メッセージに応じてユーザにより施された調整結果に基づいて、頭部伝達関数の補正を行う頭部伝達関数補正処理とを含むので、使用者の頭・耳の形状などの個人差を考慮した頭部伝達関数の最適化処理が可能となり、正確な音像定位が可能となる。

実施の形態１．
図１は本発明の実施の形態１による携帯電話機のブロック図、図２は、図１に示す入出力切替処理回路１２の詳細図、図３は、図１に示す音像定位処理回路１０の詳細図である。

まず、本発明の構成について図１のブロック図により説明する。図中の１は送話信号を集音する送話用マイクロフォン、２は送話用マイクロフォン１で集音したアナログ信号をディジタル信号に変換するＡ／Ｄ変換器、３はＡ／Ｄ変換器２で変換されたディジタル信号を圧縮する音声符号化器、４は音声符号化器３で圧縮された符号化信号の送信を行うための信号処理を行う送信処理回路、５は送信処理回路４で得られた信号の変調処理およびアンテナ６を介して受信された高周波信号の復調処理を行う無線部、６はアンテナ、７は無線部５から得られた信号の受信処理を行う受信処理回路、８は受信処理回路７で得られた符号化信号の復号化を行う音声復号化器、９は音声復号化器８で得られたディジタル信号をアナログ信号に変換するＤ／Ａ変換器ａ、１０はメモリ１７に蓄えられた音源信号に対して、予め使用者の頭・耳の形状を考慮した頭部伝達関数の畳み込み演算を行う音像定位処理回路、１１は音像定位処理回路１０で得られたディジタル信号をアナログ信号に変換するＤ／Ａ変換器ｂ、１２はＤ／Ａ変換器ａ、ｂで得られたアナログ信号のどちらか一方を入力とし、イヤホン端子１３、ステレオスピーカ１５の一方、もしくは両方を出力とし、これらの入出力端子を切り替える処理を行う入出力切替処理回路、１３はステレオイヤホン１４と接続するためのイヤホン端子、１４はイヤホン端子１３からの信号を出力するステレオイヤホン、１５は入出力切替処理回路１２で得られた信号を出力するステレオスピーカ、１６は携帯電話機の全体を制御するＣＰＵ、１７は音源信号データ、画像信号データや音像定位処理に必要なパラメータおよびプログラムデータ等の各種データを蓄えるメモリ、１８は使用者のキー操作結果に応じた情報が入力されるキー操作部、１９は画像信号の画像処理を行う画像処理回路、２０は画像処理回路１９で処理された画像の表示を行うディスプレイである。

次に動作について図１を使って説明する。音声通話を行う場合、送話用マイクロフォン１で電気信号とされた入力音声信号は、Ａ／Ｄ変換器２によりディジタル信号とされて、音声符号化器３に供給される。この音声符号化器３で情報圧縮、符号化が施された音声データは、送信処理回路４に送られて送信のための信号処理が施され、無線部５で変調処理された後、アンテナ６を介して送出される。

受話側の構成としては、アンテナ６を介して受信された高周波信号が無線部５で復調処理され、受信処理回路７で受信処理が施された後、音声復号化器８に送られる。この音声復号化器８にて送話側の音声符号化器３における符号化処理の逆の処理が施された後、Ｄ／Ａ変換器ａ９に送られてアナログ信号に変換され、入出力切替処理回路１２に送られる。

一方、３Ｄ音(３次元上に立体的に聞こえる音)を再生する場合、ＣＰＵ１６はメモリ１７に蓄えられた音源信号データを音像定位処理回路１０に送る。ここで、音源信号データには、音源信号そのものに加え、音像定位情報(=音像を定位する方向、距離に関する情報)も含まれている。音像定位処理回路１０にて、音源信号データに含まれる音像定位情報に対応する頭部伝達関数を使って、音源信号との畳み込み演算処理によって音像定位処理が施された後、Ｄ／Ａ変換器ｂ１１に送られてアナログ信号に変換され、入出力切替処理回路１２に送られる。

図２において、入出力切替処理回路１２では、音声通話を行う場合は入力元を１２ｂ側(音声通話パス)に、音像定位処理された３Ｄ音を再生する場合は入力元を１２ａ側(３Ｄ音再生パス)に切り替える。また、入力元で決定した音をイヤホンで聞く場合は出力先を１２Ａ側に、スピーカで聞く場合は出力先を１２Ｂ側に切り替える。入出力切替処理回路１２内の入力元および出力先の切り替えは通常、イヤホン端子１３でイヤホンが接続されたかどうかを検知し、検知した結果に従いＣＰＵ１６で制御されるが、使用者がキー操作を行うことにより、キー操作部１８での操作内容をＣＰＵ１６で検知し、検知した結果に従いＣＰＵ１６で制御するようにしてもよい。

また、ＣＰＵ１６はメモリ１７に蓄えられた画像信号を画像処理回路１９に送る。画像処理回路１９で画像処理された画像は、ディスプレイ２０に表示される。

次に、本実施例の特徴である音像定位処理回路１０の動作内容について、図３のブロック図および図４の携帯電話機における頭部伝達関数の最適化動作の一例を示すフローチャートを使って説明する。

図３において、スイッチ１０１、１０２はともに音像定位処理を行う際に用いるパラメータを切り替えるスイッチで、スイッチ１０１は初期パラメータ、スイッチ１０２は最適化後のパラメータ、を切り替えるスイッチである。スイッチをａ側(１０１ａ、１０２ａ)にすると、スピーカ用のパラメータが選択され、ｂ側(１０１ｂ、１０２ｂ)にすると、イヤホン用のパラメータが選択される。ここで、「初期パラメータ」とは、本発明による最適化を行う前の頭部伝達関数の係数であり、例えば、ダミーヘッドもしくは多数の被験者に関して、予め測定した空間インパルス応答に基づき得られるものである。また、「最適化後のパラメータ」とは、本発明による最適化を行った後の頭部伝達関数の係数であり、音像定位処理に本パラメータを用いることで、使用者によって最適な３Ｄ音響機能を実現できる。

スイッチ１０３、１０４、１０７はすべて頭部伝達関数の補正を行うかどうかの状態を示すスイッチで、１０３ｂ側かつスイッチ１０４、１０７をともに閉じると頭部伝達関数の補正を行うモード(以降では、補正モードと記述)に移行し、初期パラメータがパラメータ格納処理器１０５に入力され、頭部伝達関数の補正に基づく最適化が図られ、更新後のパラメータが「最適化後のパラメータ」として設定される。最適化処理を終えると、スイッチ１０３は１０３ａ側に切り替わり、スイッチ１０４、１０７はともに開く。そして、最適化後のパラメータがパラメータ格納処理器１０５に入力される。補正モードに移行した場合、図４のフローチャートに従って頭部伝達関数の補正を行い、使用者にとって最適な頭部伝達関数を求める処理を行う。

パラメータ格納処理器１０５に格納されたパラメータと音源信号は、畳み込み演算処理器１０８にて畳み込み演算され、演算結果がＤ／Ａ変換器ｂ１１に入力される。また、補正モード時は、スイッチ１０７が閉じられ、パラメータ格納処理器１０５に格納されたパラメータはパラメータ更新処理器１０６に入力される。

パラメータ更新処理器１０６では、図４のステップ１０４〜ステップ１０７（以下では、ステップのことをＳと略す。）の内容に従い、パラメータの更新を行う。更新されたパラメータは、「最適化後のパラメータ」として設定される。また、スイッチ１０４が閉じられ、再びパラメータ格納処理器１０５に入力される。

以下では、適宜図３を参照しながら、図４に示す頭部伝達関数の最適化方法の一例を説明する。図５は、サンプル音の音像を定位する方向ｄと携帯電話及び使用者の位置関係を示す図である。

本発明の特徴は、音像定位処理を施したサンプル音を提示し、使用者の聞こえるサンプル音の到来方向に基づき頭部伝達関数の最適化を行うことにある。ここで、サンプル音の提示方法としては、等間隔で音像定位方向を変更させながらサンプル音を提示する、ランダムに音像定位方向を決定しサンプル音を提示する、等種々の方法があり、頭部伝達関数の最適化を行いたい全ての方向について、サンプル音の提示を行う必要があるが、最適化に多大な時間と労力が必要である。そこで、本実施例では、サンプル音の提示方法の一例として、図５に示すように、最初に提示する音像定位方向(d=0、すなわち、使用者が携帯電話機を使用者の正面に位置するように手に持った状態で、真正面からサンプル音が聞こえる方向)から水平方向に対してπ／２ごとに等間隔で音像定位方向を変更させながら前後左右４方向にサンプル音を提示し、提示方向の水平方向に対して±π／４の頭部伝達関数の補正を行う(ある提示方向に対して、複数方向の頭部伝達関数の補正を行う)場合について説明する。便宜上、水平面内の方向で説明するが、３次元の全方向を考慮しても、処理手順は全く同じである。また、携帯電話と使用者の位置関係に関して、本実施例では図５に示す場合について説明するが、使用環境に合わせて最適化を行うことで、携帯電話のスピーカと使用者の耳の位置関係を考慮した音像定位機能を提供できる。サンプル音の提示回数をｑとした場合、ｑ回で音像定位方向が１回転(２π変化)することから、１回あたりの音像定位方向の変更角度は、２π／ｑである。よって、ｔ回目に提示する音像定位方向はｄ（t）で表される。

ここで、ｄ（１）は１回目、すなわち最初に提示する音像定位方向である。図５に示す例の場合、ｄ（１）＝０であり、サンプル音の提示回数はｑ＝４であることから、これらの値を上記式に代入すると、ｄ（１）＝０(正面)、ｄ（２）＝π／２(右)、ｄ（３）＝π(後方)、ｄ（４）＝３π／２(左)が得られる。

Ｓ１００にて、各種変数（ｑ、t、ｄ（ｔ））の初期値を設定する。図５に示す例の場合、これらの変数の初期値として、ｑ＝４、ｔ＝１、ｄ（１）＝０を設定する。

Ｓ１０１にて、定位方向をｄ（ｔ）とした場合のパラメータ（図３の「初期パラメータ」）を設定し、パラメータ格納処理器１０５に設定したパラメータを格納する。ここで、パラメータとは、ダミーヘッドもしくは多数の人に関して予め測定した空間インパルス応答に基づき得られた頭部伝達関数の係数ベクトルのことであり、下記の数式２及び数式３で表される。数式２及び数式３において、（ｌ）は音源から左耳に到達するまでの頭部伝達関数、（ｒ）は音源から右耳に到達するまでの頭部伝達関数を表す。また、ｍは測定データの数を示す。

ただし下記の数式４で、ｎは空間インパルス応答の次数を示す。本実施例では、初期パラメータのうち、ｊ＝１、ｍ＝１（測定データ数１）の場合（数式５）について説明する。初期パラメータを設定した後は、Ｓ１０２の処理を行う。

Ｓ１０２にて、音源信号(例えば、白色雑音)と定位方向ｄ（ｔ）の頭部伝達関数の畳み込み演算を行うことで音像定位処理を施し、スピーカもしくはイヤホンから音像定位されたサンプル音を出力させる。なお、音源信号として、白色雑音の他に１ｋＨｚ正弦波等の単一周波数のトーン信号を用いても良い。また、以下ではスピーカに出力する場合（スイッチ１０１が１０１ａ側、スイッチ１０２が１０２ａ側の状態）について説明するが、イヤホンに出力する場合も同様である。ただし、イヤホン出力時とスピーカ出力時とでは、出力先(スピーカもしくはイヤホン)から両耳までの空間特性がそれぞれ異なる。このことから、イヤホン出力時は、スイッチ１０１を１０１ｂ側に、スイッチ１０２を１０２ｂ側に切り替えることにより、スピーカ出力時とは異なるパラメータから成る頭部伝達関数を用いて畳み込み演算を行う。

このとき、図６に示すようにディスプレイ２０に表示することで、サンプル音が鳴っていることを使用者に通知し、「このサンプル音がどの方向から聞こえるか？」を［１］〜［５］の選択肢から選び、「番号」キーを押下するよう促す。使用者は提示されたサンプル音の聞こえる方向を［１］〜［５］の中から選択する。

図６の例では、選択肢の数が５つで［１］〜［５］を選択した場合の制御手順について説明する。選択肢の数は正面方向を含め３個以上の奇数(２ｐ＋１、ｐ：自然数)であることが望ましいが、これに限定するものではない。また、サンプル音が聞こえる方向(到来方向)として、３０度おきに選択肢を設けた場合について示した。しかし、到来方向を示す角度の間隔は、音像定位処理に用いる頭部伝達関数の水平方向の最小角度(分解能)以上であれば、任意の角度にしてもよい。

Ｓ１０３で選択された番号によって、Ｓ１０４〜Ｓ１０７の処理が行われる。なお、［３］が選択(「番号」キー［３］を押下)された場合には、初期パラメータによる音像定位方向（ｄ（ｔ））と使用者が聞こえると感じた方向が一致していることから、頭部伝達関数の補正はせず、Ｓ１０８の処理を行う。

Ｓ１０３で［１］の右３０度(π／６)が選択(「番号」キー［１］を押下)された場合、パラメータ更新処理器１０６において頭部伝達関数の更新を行う(Ｓ１０４)。初期パラメータによる音像定位方向（ｄ（ｔ））と使用者が聞こえると感じた方向が一致するよう、下記の数式６に示す補正を行う。

ここで、式６の左辺は極座標で表示した場合の補正後の頭部伝達関数である(ｒは動径、θ、φは偏角、図７参照)。図５に示す例で、ｔ＝１(すなわちｄ（ｔ）＝ｄ（１）＝０)の場合、水平方向θが−π／４≦θ≦π／４の範囲について(数式６)を使って頭部伝達関数の補正を行う。また、(数式６)では極座標表示した場合について記述したが、その他の座標系で表示してもよい((数式７)以降も同様)。頭部伝達関数の補正後は、Ｓ１０８の処理を行う。

Ｓ１０３で［２］の右６０度（π／３）が選択(「番号」キー［２］を押下)された場合、パラメータ更新処理器１０６において頭部伝達関数の更新を行う(Ｓ１０５)。初期パラメータによる音像定位方向（ｄ（ｔ））と使用者が聞こえると感じた方向が一致するよう、下記の数式７に示す補正を行う。頭部伝達関数の補正後は、Ｓ１０８の処理を行う。

Ｓ１０３で［４］の左３０度（―π／６）が選択(「番号」キー［４］を押下)された場合、パラメータ更新処理器１０６において頭部伝達関数の更新を行う(Ｓ１０６)。初期パラメータによる音像定位方向（ｄ）と使用者が聞こえると感じた方向が一致するよう、下記の数式８に示す補正を行う。頭部伝達関数の補正後は、Ｓ１０８の処理を行う。

Ｓ１０３で［５］の左６０度(―π／３)が選択(「番号」キー［5］を押下)された場合、パラメータ更新処理器１０６において頭部伝達関数の更新を行う(Ｓ１０７)。初期パラメータによる音像定位方向(ｄ（ｔ）)と使用者が聞こえると感じた方向が一致するよう、下記の数式９に示す補正を行う。頭部伝達関数の補正後は、Ｓ１０８の処理を行う

Ｓ１０８にて、音像定位方向ｄ（ｔ）についてｄ（ｔ＋１）＝ｄ（ｔ）＋２π／ｑの演算が行われることで、音像定位方向の変更を行う。図５に示す例の場合、ｑ＝４であることから、ｔ＝１、ｄ（１）＝０を代入して、ｄ（２）＝ｄ（１）＋２π／４＝π／２となる。
同様に、ｄ（３）＝π、ｄ（４）＝３π／２となる。音像定位方向を変更した後は、ｔ＝ｔ＋１の演算をし、ｔの値をインクリメントする。

Ｓ１０９にて、ｔがｑに等しいかどうかの判定を行う。ｔの値がｑに等しい場合(Ｓ１０９でＹＥＳ)は、最適化処理を終了する。ｔの値がｑに等しくない場合(Ｓ１０９でＮＯ)は、引き続き最適化処理を行うため、Ｓ１０１の処理を行う。

以上のようにして、本実施の形態に係る携帯電話機は、予め測定済みの頭部伝達関数のパラメータを使って音像定位されたサンプル音を、使用者が携帯電話機を手に持った状態で受聴し、サンプル音の到来方向を［１］〜［５］の選択肢から回答することで、使用者に適した頭部伝達関数のパラメータを決定する。これにより、使用者ごとに異なる頭・耳の形状等の個人差を考慮した音像定位を使用者が簡単に行うことができる携帯電話機を提供できる。また、使用環境に合わせて、本実施例に記載の最適化を行うことにより、携帯電話から出力されるスピーカと使用者の耳の位置関係を考慮した音像定位を行うことができる携帯電話機を提供できる。

実施の形態２．
以下、本実施の形態２について説明する。実施の形態２は、ディスプレイに予め音の到来方向を表示し、提示されたサンプル音の到来方向がディスプレイに表示された方向と一致するように使用者がキー操作を行うことにより、頭部伝達関数の補正を行うようにした実施例である。本実施の形態に係る携帯電話機は、音像定位処理回路１０の、頭部伝達関数の最適化処理動作以外の処理については、前述の実施の形態１と同じであるため、ここでの詳細な説明は繰り返さない。図８に本実施例における頭部伝達関数の最適化動作を表したフローチャートを示す。

図８を参照して、本実施の形態に係る携帯電話機の音像定位処理回路１０にて実施される、頭部伝達関数の最適化動作について説明する。Ｓ２００にて、Ｓ１００と同様、ｑ、ｔ、ｄ（ｔ）の初期化を行う。また、頭部伝達関数の水平方向(θ方向)の分解能(Δ)を設定する。ここでは、各変数の初期値として、ｑ＝４、ｔ＝１、ｄ（ｔ）＝０、Δ＝π／１８０を設定する。

Ｓ２０１にて、Ｓ１０１と同様、定位方向がｄ（ｔ）のパラメータを設定する。ここで、ｄ（ｔ）は、ｔ回目にディスプレイに表示された音の到来方向である。また、提示するサンプル音の定位方向（＝ｄ^ｋ）の初期化を行う。ここで、ｄ^ｋは、ｋ回目に提示したサンプル音の音像定位方向で、使用者のキー操作による補正を行うたびにｋの値はインクリメントされる。各変数の初期値として、ｋ＝０、ｄ^ｋ＝ｄ（ｔ）を設定する。パラメータを設定した後は、Ｓ２０２の処理を行う。

Ｓ２０２にて、音源信号と定位方向ｄ^ｋの頭部伝達関数の畳み込み演算を行うことで音像定位処理を施し、スピーカから音像定位されたサンプル音を出力させる。音源信号およびサンプル音の出力先に関しては、実施の形態１と同様である。

このとき、図９に示すようにディスプレイ２０に表示することで、サンプル音が鳴っていることを使用者に通知し、このサンプル音が想定している方向(図９の例では、右６０度。以下では想定方向と表記)と使用者が実際に携帯電話機を手に持った状態で聞こえている方向が一致するように「方向」キーを使って調整するよう促す。また、右６０度(想定方向)から聞こえるように調整し終わったら、「決定」キーを押下するよう促す。Ｓ２０３にて、「サンプル音の聞こえる方向と想定方向が一致しているかどうか？」によって、Ｓ２０４もしくはＳ２０５の処理が行われる。

Ｓ２０３でサンプル音の聞こえる方向と想定方向が一致している場合(「決定」キーが押下された場合、Ｓ２０３でＹＥＳ)、現在の設定パラメータに基づき、頭部伝達関数の補正を行う（Ｓ２０５）。更新式を下記の数式１０に示す。頭部伝達関数の補正後は、実施の形態１と同様、Ｓ１０８の処理(音像定位方向の変更)を行う。

Ｓ２０３でサンプル音の聞こえる方向と想定方向が一致していない場合(「右」もしくは「左」の「方向」キーが押下された場合、Ｓ２０３でＮＯ)、Ｓ２０４の処理を行う。Ｓ２０４にて、サンプル音の聞こえる方向が想定方向よりも右かどうか？によって、Ｓ２０６もしくはＳ２０７の処理が行われる。Ｓ２０４でサンプル音の聞こえる方向が想定方向よりも右の場合(「右」キーが押下された場合、Ｓ２０４でＹＥＳ)、パラメータ更新処理器１０６において、音像定位方向の変更を行う(Ｓ２０６)。音像定位方向ｄ^ｋに対してΔだけ左方向のｄ^ｋ―Δが新たな音像定位方向ｄ^ｋ+1となるよう、下記の数式１１に示す更新を行う。

ここで、Δの値は頭部伝達関数のθ方向の分解能で、一般的に予め測定された頭部インパルス応答の測定間隔に等しい場合が多いが、これに限るものではない。本実施例では、Δ＝π／１８０（１度）の場合を示している。また、ｋ＝ｋ＋１の演算をし、更新回数ｋの値をインクリメントする。音像定位方向を変更した後は、Ｓ２０８の処理が行われる。

Ｓ２０４でサンプル音の聞こえる方向が想定方向よりも左の場合(「左」キーが押下された場合、Ｓ２０４でＮＯ)、パラメータ更新処理器１０６において、音像定位方向の変更を行う(Ｓ２０７)。音像定位方向ｄ^ｋに対してΔだけ右方向のｄ^ｋ＋Δが新たな音像定位方向ｄ^ｋ+1となるよう、下記の数式１２に示す更新を行う。各記号の内容は（数式１１）と同じである。また、ｋ＝ｋ＋１の演算をし、ｋの値をインクリメントする。音像定位方向の変更後は、Ｓ２０８の処理が行われる。Ｓ２０８にて、定位方向がｄ^ｋのパラメータを設定する。パラメータを設定した後は、Ｓ２０２の処理を行う。

以上のようにして、本実施の形態に係る携帯電話機は、予め測定済みの頭部伝達関数のパラメータを使って音像定位されたサンプル音を、使用者が携帯電話機を手に持った状態で受聴し、サンプル音の到来方向を左右の「方向」キーを押して調整することにより、使用者に適した頭部伝達関数のパラメータを決定する。これにより、使用者ごとに異なる頭・耳の形状等の個人差を考慮した音像定位ができる携帯電話機を提供できる。また、使用環境に合わせて、本実施例に記載の最適化を行うことにより、携帯電話から出力されるスピーカと使用者の耳の位置関係を考慮した音像定位を行うことができる携帯電話機を提供できる。また、サンプル音の到来方向に関して、使用者の聴感と想定方向が一致するようキー操作を行うことにより、実使用状態に即した音像定位ができる携帯電話機を提供できる。

実施の形態３.
以下、本実施の形態３について説明する。実施の形態３は、実施の形態１でサンプル音の提示を行う前に、キー操作の有無を判定し、キー操作があった場合に、サンプル音を提示するようにした実施例である。なお、本実施の形態に係る携帯電話機は、音像定位処理回路１０の、頭部伝達関数の最適化処理動作以外の処理については、前述の実施の形態１と同じであるため、ここでの詳細な説明は繰り返さない。図１０に本実施例における頭部伝達関数の最適化動作を表したフローチャートを示す。

図１０を参照して、本実施の形態に係る携帯電話機の音像定位処理回路１０にて実施される、頭部伝達関数の最適化動作について説明する。Ｓ１０１にて、定位方向ｄ（ｔ）のパラメータセットが設定されると、Ｓ３００の処理を行う。Ｓ３００では、例えば、図１１に示すようにディスプレイ２０に表示することで、「決定」キーを押している間サンプル音が鳴ることを使用者に通知し、使用者により「決定」キーが押されたかどうかの判定を行う。図１１の例では、「決定」キーが押されているかどうかでサンプル音を提示するかどうかの判定を行っている場合について示しているが、他のキー操作にしてもよい。「決定」キーが押された場合(Ｓ３００でＹＥＳ)は、「決定」キーが押されている間だけサンプル音の提示を行う(Ｓ３０１)。「決定」キーが押されていない場合(Ｓ３００でＮＯ)は、引き続きＳ３００の処理を行う(「決定」キーが押されるまで、Ｓ３００の処理が行われる)。

Ｓ３０１にて、音源信号とパラメータ格納処理器１０５に格納された定位方向ｄ（ｔ）の頭部伝達関数とを畳み込み演算処理器１０８に入力し、畳み込み演算を行うことで音像定位処理を施し、Ｄ／Ａ変換器ｂ１１によりアナログ信号に変換された後、入出力切替処理回路１２にて、スイッチ１２２を１２Ｂ側にすることで、スピーカから音像定位されたサンプル音を出力させる。サンプル音および出力先に関しては、実施の形態１と同様である。このとき、図１１に示すようにディスプレイ２０に表示することで、「提示されたサンプル音がどの方向から聞こえるか？」を［１］〜［５］の選択肢から選び、「番号」キーを押下するよう促す。使用者は提示されたサンプル音の聞こえる方向を［１］〜［５］の中から選択する。

以上のようにして、本実施の形態に係る携帯電話機は、予め測定済みの頭部伝達関数のパラメータを使って音像定位されたサンプル音を、使用者が携帯電話機を手に持った状態で受聴し、サンプル音の到来方向を［１］〜［５］の選択肢から回答することで、使用者に適した頭部伝達関数のパラメータを決定する。これにより、使用者ごとに異なる頭・耳の形状等の個人差を考慮した音像定位を使用者が簡単に行うことができる携帯電話機を提供できる。また、使用環境に合わせて、本実施例に記載の最適化を行うことにより、携帯電話から出力されるスピーカと使用者の耳の位置関係を考慮した音像定位を行うことができる携帯電話機を提供できる。また、使用者のキー操作をしている間だけサンプル音を提示することにより、無駄な電流の消費を抑えることができる。

実施の形態４．
以下、本実施の形態４について説明する。実施の形態４は、実施の形態２でサンプル音の提示を行う前に、キー操作の有無を判定し、キー操作があった場合に、サンプル音を提示するようにした実施例である。なお、本実施の形態に係る携帯電話機は、音像定位処理回路１０の、頭部伝達関数の最適化処理動作以外の処理については、前述の実施の形態２と同じであるため、ここでの詳細な説明は繰り返さない。図１２に本実施例における頭部伝達関数の最適化動作を表したフローチャートを示す。

図１２を参照して、本実施の形態に係る携帯電話機の音像定位処理回路１０にて実施される、頭部伝達関数の最適化動作について説明する。Ｓ１０１にて、定位方向ｄ（ｔ）のパラメータセットが設定されると、Ｓ４００の処理を行う。Ｓ４００では、例えば、図１３に示すようにディスプレイ２０に表示することで、「方向」キー(［上］もしくは［下］)を押している間サンプル音が鳴ることを使用者に通知し、使用者により「方向」キー(［上］もしくは［下］)が押されたかどうかの判定を行う。図１３の例では、「方向」キー(［上］もしくは［下］)が押されているかどうかでサンプル音を提示するかどうかの判定を行っている場合について示しているが、他のキー操作にしてもよい。「方向」キー(［上］もしくは［下］)が押された場合(Ｓ４００でＹＥＳ)は、「方向」キー(［上］もしくは［下］)が押されている間だけサンプル音の提示を行う(Ｓ４０１)。また、「方向」キー(［上］もしくは［下］)が押されていない場合(Ｓ４００でＮＯ)は、「方向」キー(［上］もしくは［下］)が押されるまでＳ４００の判定が行われる。

Ｓ４０１にて、音源信号とパラメータ格納処理器１０５に格納された定位方向dkの頭部伝達関数とを畳み込み演算処理器１０８に入力し、畳み込み演算を行うことで音像定位処理を施し、Ｄ／Ａ変換器ｂ１１によりアナログ信号に変換された後、入出力切替処理回路１２にて、スイッチ１２２を１２Ｂ側にすることで、スピーカから音像定位されたサンプル音を出力させる。サンプル音および出力先に関しては、実施の形態１と同様である。

このとき、図１３に示すようにディスプレイ２０に表示することで、サンプル音が鳴っていることを使用者に通知し、このサンプル音が想定方向(図１３の例では、右60度)と使用者が実際に携帯電話機を手に持った状態で聞こえている方向が一致するように「方向」キー(［左］もしくは［右］)を使って調整するよう促す。また、想定方向から聞こえるように調整し終わったら、「決定」キーを押下するよう促す。

以上のようにして、本実施の形態に係る携帯電話機は、予め測定済みの頭部伝達関数のパラメータを使って音像定位されたサンプル音を、使用者が携帯電話機を手に持った状態で受聴し、サンプル音の到来方向を左右の「方向」キーを押して調整することにより、使用者に適した頭部伝達関数のパラメータを決定する。これにより、使用者ごとに異なる頭・耳の形状等の個人差を考慮した音像定位ができる携帯電話機を提供できる。また、使用環境に合わせて、本実施例に記載の最適化を行うことにより、携帯電話から出力されるスピーカと使用者の耳の位置関係を考慮した音像定位を行うことができる携帯電話機を提供できる。また、サンプル音の到来方向に関して、使用者の聴感と想定方向が一致するようキー操作を行うことにより、実使用状態に即した音像定位ができる携帯電話機を提供できる。また、使用者のキー操作をしている間だけサンプル音を提示することにより、無駄な電流の消費を抑えることができる。

本発明の実施の形態１に係る音像定位機能を搭載した携帯電話機を示す概略ブロック図である。図１内の入出力切替処理回路の詳細を示す図である。図１内の音像定位処理回路の詳細を示す図である。本発明の実施の形態１に係る音像定位処理の制御の手順を示すフローチャートである。図４のフローチャートにおいて、サンプル音の音像を定位する方向d、携帯電話機および使用者の位置関係を示す図である。図４のフローチャートにおいて、サンプル音を提示する際、携帯電話機のディスプレイ２０に表示される平面図の一例である。図４のフローチャートにおいて、頭部伝達関数H(r,θ,φ)の位置座標を示す図である。本発明の実施の形態２に係る音像定位処理の制御の手順を示すフローチャートである。図８のフローチャートにおいて、サンプル音を提示する際、携帯電話機のディスプレイ２０に表示される平面図の一例である。本発明の実施の形態３に係る音像定位処理の制御の手順を示すフローチャートである。図１０のフローチャートにおいて、サンプル音を提示する際、携帯電話機のディスプレイ２０に表示される平面図の一例である。本発明の実施の形態４に係る音像定位処理の制御の手順を示すフローチャートである。図１２のフローチャートにおいて、サンプル音を提示する際、携帯電話機のディスプレイ２０に表示される平面図の一例である。

符号の説明

１送話用マイクロフォン、２Ａ／Ｄ変換器、３音声符号化器、４送信処理回路、
５無線部、６アンテナ、７受信処理回路、８音声復号化器、
９Ｄ／Ａ変換器ａ、１０音像定位処理回路、１１Ｄ／Ａ変換器ｂ、
１２入出力切替処理回路、１３イヤホン端子、１４ステレオイヤホン、
１５ステレオスピーカ、１６ＣＰＵ、１７メモリ、１８キー操作部、
１９画像処理回路、２０ディスプレイ、１０１スイッチ、１０２スイッチ、
１０３スイッチ、１０４スイッチ、１０５パラメータ格納処理器、
１０６パラメータ更新処理器、１０７スイッチ、１０８畳み込み演算処理器、
１２１スイッチ、１２２スイッチ

Claims

音源信号に対して頭部伝達関数を用いて音像定位処理を施して出力音声信号を生成する音像定位処理と、
この音像定位処理が施された前記出力音声信号をサンプル音として出力する音声信号出力処理と、
前記サンプル音が出力されていることを通知するとともに、前記サンプル音の到来方向を入力するよう要求するメッセージを表示する表示処理と、
入力されたサンプル音の到来方向に基づいて、前記頭部伝達関数の補正を行う頭部伝達関数補正処理とを含むことを特徴とする音声調整方法。
音源信号に対して頭部伝達関数を用いて音像定位処理を施し、出力音声信号を生成する音像定位処理と、
この音像定位処理が施された前記出力音声信号をサンプル音として出力する音声信号出力処理と、
前記サンプル音が出力されていることと、現在出力されている前記サンプル音の到来方向を通知するとともに、前記サンプル音が実際に聞こえる方向と通知されている到来方向を一致させるようにユーザに要求するメッセージを表示する表示処理と、
前記メッセージに応じて前記ユーザにより施された調整結果に基づいて、前記頭部伝達関数の補正を行う頭部伝達関数補正処理とを含むことを特徴とする音声調整方法。
イヤホンが接続されているかどうかを検知する検知処理を行い、イヤホンの接続の有無に応じて頭部伝達関数を変更することを特徴とする請求項１または２に記載の音声調整方法。
アンテナにより受信された高周波信号に復調処理を施すとともに、マイクから入力された送話用音声信号に変調処理を施す無線部と、
この無線部において復調される前記高周波信号に基づいて生成された通話音声信号と、予め記憶された音源信号に対して頭部伝達関数を用いて音像定位処理が施された再生音声信号とを出力するスピーカとを備えた携帯電話機において、
音像定位処理が施された前記再生音声信号をサンプル音として出力するとともに、前記サンプル音の到来方向を入力するよう要求するメッセージを表示させ、入力されたサンプル音の到来方向に基づいて、前記頭部伝達関数の補正を行う音像定位処理部とを設けたことを特徴とする携帯電話機。
アンテナにより受信された高周波信号に復調処理を施すとともに、マイクから入力された送話用音声信号に変調処理を施す無線部と、
この無線部において復調される前記高周波信号に基づいて生成された通話音声信号と、予め記憶された音源信号に対して頭部伝達関数を用いて音像定位処理が施された再生音声信号とを出力するスピーカとを備えた携帯電話機において、
音像定位処理が施された前記再生音声信号をサンプル音として出力するとともに、表示した前記サンプル音の到来方向と前記サンプル音が実際に聞こえる方向とを一致させるようにユーザに要求するメッセージを表示し、前記ユーザにより施された調整結果に基づいて、前記頭部伝達関数の補正を行う音像定位処理部とを設けたことを特徴とする携帯電話機。
イヤホンが接続されているかどうかを検知する検知部を備え、イヤホンの接続の有無に応じて頭部伝達関数を変更することを特徴とする請求項４または５に記載の携帯電話機。