以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
図1は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図2は、図1に示す携帯電子機器の側面図である。図1、図2に示す携帯電子機器1は、無線通信機能と、出力手段と、音声取得手段とを有する携帯電話機である。携帯電子機器1は、筐体1Cが複数の筐体で構成される。具体的には、筐体1Cは、第1筐体1CAと第2筐体1CBとで開閉可能に構成される。すなわち、携帯電子機器1は、折り畳み式の筐体を有する。なお、携帯電子機器1の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器1の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、2軸ヒンジを介して両方の筐体を連結したものでもよい。
第1筐体1CAと第2筐体1CBとは、連結部であるヒンジ機構8で連結されている。ヒンジ機構8で第1筐体1CAと第2筐体1CBとを連結することにより、第1筐体1CA及び第2筐体1CBは、ヒンジ機構8を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向(図2の矢印Rで示す方向)に回動できるように構成される。第1筐体1CAと第2筐体1CBとが互いに遠ざかる方向に回動すると携帯電子機器1が開き、第1筐体1CAと第2筐体1CBとが互いに接近する方向に回動すると携帯電子機器1が閉じて、折り畳まれた状態となる(図2の点線で示す状態)。
第1筐体1CAには、表示部として、図1に示すディスプレイ2が設けられる。ディスプレイ2は、携帯電子機器1が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器1の操作を補助するために用いられるメニュー画像を表示したりする。また、第1筐体1CAには、携帯電子機器1の通話時に音声を出力する出力手段であるレシーバ16が設けられる。
第2筐体1CBには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13Aが複数設けられ、また、ディスプレイ2に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー13Bが設けられる。操作キー13A及び方向及び決定キー13Bは、携帯電子機器1の操作部13を構成する。また、第2筐体1CBには、携帯電子機器1の通話時に音声を受け取る音声取得手段であるマイク15が設けられる。操作部13は、図2に示す、第2筐体1CBの操作面1PCに設けられる。操作面1PCとは反対側の面が、携帯電子機器1の背面1PBである。
第2筐体1CBの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電子機器1と基地局との間で通話や電子メール等に係る電波(電磁波)の送受信に用いられる。また、第2筐体1CBには、マイク15が設けられる。マイク15は、図2に示す、携帯電子機器1の操作面1PC側に配置される。
図3は、図1、図2に示す携帯電子機器の機能の概略構成を示すブロック図である。図3に示すように、携帯電子機器1は、処理部22と、記憶部24と、送受信部26と、操作部13と、音声処理部30と、表示部32と、出力音補正部34と、を有する。処理部22は、携帯電子機器1の全体的な動作を統括的に制御する機能を有する。すなわち、処理部22は、携帯電子機器1の各種の処理が、操作部13の操作や携帯電子機器1の記憶部24に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32等の動作を制御する。
携帯電子機器1の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示等がある。
処理部22は、記憶部24に記憶されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部22は、例えば、マイクロプロセッサユニット(MPU:Micro Processing Unit)で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器1の各種の処理を実行する。すなわち、処理部22は、記憶部24に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
処理部22は、複数のアプリケーションプログラムを実行する機能を有する。処理部22が実行するアプリケーションプログラムとしては、例えば、各種の画像ファイル(画像情報)を記憶部24から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部32に表示させるアプリケーションプログラム等の複数のアプリケーションプログラムがある。
本実施形態において、処理部22は、出力音補正部34の補正パラメータを設定する補正パラメータ設定部22a、音声認識処理を行う音声解析部22b、音声のスペクトル分析を行うスペクトル分析部22c、所定の提示音(テスト音)を生成する提示音生成部22dを有する。補正パラメータ設定部22a、音声解析部22b、スペクトル分析部22c、提示音生成部22dがそれぞれ有する機能は、処理部22及び記憶部24で構成されるハードウェア資源が、処理部22の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。なお、補正パラメータ設定部22a、音声解析部22b、スペクトル分析部22c及び提示音生成部22dの機能を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが実行結果を携帯電子機器1に送信するようにしても良い。
記憶部24には、処理部22での処理に利用されるソフトウェアやデータが記憶されており、上述した、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部24には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部24に対する制御に処理部22が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部22によって記憶部24に割り当てられた作業領域へ一時的に記憶される。記憶部24は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。
送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部13は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー13Aと、方向及び決定キー13Bとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部22へ入力される。
音声処理部30は、マイク15に入力される音声信号やレシーバ16やスピーカ17から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部22へ出力する。また、処理部22から出力音補正部34を介して送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16やスピーカ17へ出力する。ここで、スピーカ17は、携帯電子機器1の筐体1C内に配置されており、着信音やメールの送信音等を出力する。
表示部32は、上述したディスプレイ2を有しており、処理部22から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ2は、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネルなどで構成された表示パネルで構成される。なお、表示部32は、ディスプレイ2に加え、サブディスプレイを有していてもよい。
出力音補正部34は、処理部22により設定される補正パラメータに基づいて、処理部22から送られる音声データに対して補正を行って音声処理部30に出力する。なお、出力音補正部34が行う補正は、入力される音声データに対して、補正パラメータに基づいて、音の大きさ及び周波数に応じて異なるゲインで増幅する補正である。また、出力音補正部34は、ハードウェア回路で実現しても良いし、CPUとプログラムで実現しても良い。出力音補正部34をCPUとプログラムで実現する場合、出力音補正部34を処理部22内で実現するようにしても良い。また、出力音補正部34の機能を、通信部26を介して通信可能なサーバで実行し、サーバが補正処理後の音声データを携帯電子機器1に送信するようにしても良い。
ここで、人間の聴覚について図4〜図9を参照して説明する。図4は、人間の耳に入る音の大きさと人間が聴こえる(感じる)音の大きさとの関係を示すグラフである。健聴者の場合、耳に入る音の大きさと聴こえる音の大きさとは比例関係にある。一方、難聴者(高齢者、耳の病気を有する者等)の場合、一般的なイメージとしては、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると耳に入る音に比例して音が聴こえるようになる。つまり、一般的なイメージの人は、耳に入る音を単純に増幅してやれば良いと考えられている。しかし、実際には、難聴者は、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると急激に大きな音として聴こえるようになる。これにより、難聴者は、例えば、10dBの変化を20dBの変化に聴きとってしまう。そのため、大きい音に対して圧縮処理(大きい音に対するゲインを小さい音に対するゲインよりも小さくする処理)を行う必要がある。また、図5は、難聴者の聴力の周波数特性を示すグラフである。図5に示すように、難聴者は、低い音は良く聴こえるが、高い音ほど聴こえ難いことがわかる。なお、図5に示す特性は、一例であり、利用者によって聞こえる周波数特性は異なる。
図6は、健聴者、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係の一例を示す図である。なお、可聴閾値とは、適正に音が聴こえる下限の音の大きさであり、例えば、40dBで聴こえる音である。可聴閾値よりも小さい大きさの音は、小さくて聴こえにくい音になる。また、不快閾値とは、適正に音が聴こえる上限の音の大きさであり、例えば、90dBで聴こえる音である。不快閾値よりも大きい音は、音が大きくて不快に感じる音である。図6に示すように、難聴者は、可聴閾値42と不快閾値44とが共に、周波数が高くなるほど大きくなっている。なお、これに対して、健聴者は、可聴閾値46及び不快閾値48がともに、出力される音の大きさに対して一定となる。
次に、図7は、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係に、調整しないで出力される母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。図7に示すように、難聴者は、出力する音声を調整しないと、つまり、健常者の使用状態と同じ状態で音を出力させると、母音は聴こえるが、子音(有声子音、無声子音)は殆ど聴こえないことがわかる。具体的には、有声子音は、一部聞こえるが、無声子音は、ほとんど聞こえなくなる。
図8は、図7の高音(子音)を単純に増幅した図である。図8に示すように、聞こえにくい周波数領域の音声を単純に増幅すると、高音が不快閾値を超えてしまい、高音が耳にキンキン響いてしまう。即ち、音がひずんで聞こえてしまい、言葉が明りょうに聞こえなくなる。これに対して、図9は、本実施形態の携帯電子機器1の出力音補正部34により、音声を補正、具体的には、図8の大きい音に対して圧縮処理(大きい音に対するゲインを小さい音に対するゲインより小さくする処理)を行った図である。図9に示すように、小さい音は大きなゲインで増幅し、大きい音は小さいゲインで増幅することで、母音、有声子音及び無声子音を快適な音の大きさ(可聴閾値と不快閾値との間の大きさ)にすることができる。携帯電子機器1は、以上の事柄を考慮して、入力される音声データに対する補正パラメータを決定する。なお、補正パラメータは、入力される音声が、可聴閾値と不快閾値との間の大きさの音声としてユーザに聞こえるように補正を行うパラメータである。携帯電子機器1は、出力音補正部34により、決定した補正パラメータを用いて音の大きさ及び周波数に応じたゲインで増幅する補正を行い、音声処理部30に出力する。これにより、携帯電子機器1は、耳が聞こえにくいユーザでも、好適に音声を聞くことが可能となる。
次に、図10を用いて携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図10は、携帯電子機器の動作の一例を示すフロー図である。なお、図10に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理してもよい。またプログラムは、外部からダウンロードして取得することができる。また、図10に示す動作を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器1に送信し、携帯電子機器1がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器1がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。
まず、携帯電子機器1の処理部22は、ステップS12として、提示音(テスト音)を再生する。つまり、携帯電子機器1の処理部22は、提示音生成部22dにより提示音(テスト音)を生成し、音声処理部30を介してレシーバ16またはスピーカ17から出力する。なお、提示音としては、不快閾値近傍及び可聴閾値近傍の音が聴こえに大きく影響するので、当初は健聴者用に設定された不快閾値ぎりぎりの音(例えば、不快閾値よりわずかに小さい音)や設定された可聴閾値ぎりぎりの音(例えば、可聴閾値よりわずかに大きい音)を用いることが好ましい。また、2回目以降は各ユーザの不快閾値、可聴閾値に対しぎりぎりの音を用いることが好ましい。図11−1は、設定された不快閾値よりわずかに小さい音の音声信号を示す図である。図11−2は、図11−1に示す音声信号を累計したスペクトル成分を示す図である。図11−3は、設定された可聴閾値よりわずかに大きい音の音声信号を示す図である。図11−4は、図11−3に示す音声信号を累計したスペクトル成分を示す図である。
再び図10を参照すると、次に、処理部22は、ステップS14として、ユーザが持つことが想定される音に関する不満(要望)をディスプレイ2に一覧表示する。図12−1は、提示音として大きい音(不快閾値よりわずかに小さい音)を再生した場合にディスプレイ2に一覧表示される音に関する不満を示す図である。また、図12−2は、提示音として小さい音(可聴閾値よりわずかに大きい音)を再生した場合にディスプレイ2に一覧表示される音に関する不満を示す図である。図12−1を参照すると、提示音として大きい音(不快閾値よりわずかに小さい音)を再生した場合には、「ひびく/うるさい」という項目51a、「キンキンする」という項目51b、「こもる」という項目51c、「つまって聴こえる」という項目51d、「不満はない」という項目51eがディスプレイ2に一覧表示される。また、図12−2を参照すると、提示音として小さい音(可聴閾値よりわずかに大きい音)を再生した場合には、「ほぼ聴こえない」という項目52a、「音がシャリシャリする」という項目52b、「音がはっきりしない」という項目52c、「不満はない」という項目52dがディスプレイ2に一覧表示される。
再び図10を参照すると、次に、処理部22は、ステップS16として、ディスプレイ2に一覧表示された項目のいずれかが選択されたか否かを判定する。処理部22は、ディスプレイ2に一覧表示された項目のいずれかが選択されていないと判定したら(ステップS16でNo)、処理をステップS16で待機させる。
また、処理部22は、ディスプレイ2に一覧表示された項目のいずれかが選択されたと判定したら(ステップS16でYes)、ステップS18として、補正パラメータ設定部22aにより、選択された不満を緩和する(要望を満たす)補正パラメータを出力音補正部34に設定する。例えば、処理部22は、図11−1に示す提示音(不快閾値よりわずかに小さい音)を再生し、図12−1に示すように「キンキンする」という項目51bが選択されたら、大きく高い音がユーザにとって不快閾値を超えていることがわかるので、補正パラメータ設定部22aにより、大きく高い音のゲインを下げる補正パラメータを出力音補正部34に設定する。また、例えば、処理部22は、図11−2に示す提示音(可聴閾値よりわずかに大きい音)を再生し、図12−2に示すように「ほぼ聴こえない」という項目52aが選択されたら、音が全体的に(全周波数帯域にわたって)ユーザにとって可聴閾値に達していないことがわかるので、補正パラメータ設定部22aにより、全周波数帯域にわたって小さい音のゲインを上げる補正パラメータを出力音補正部34に設定する。なお、補正パラメータは、ゲインそのものであっても良いし、所望のゲインで増幅するように出力音補正部34を制御する制御値であっても良い。処理部22の補正パラメータ設定部22aは、以上のような出力した提示音と、その音に対してユーザによって入力された応答との関係から周波数毎の補正パラメータを設定(調整)する動作を繰り返す。
これにより、補正パラメータをユーザの聴こえ(音声の聞こえ方、聴覚の特性)に合わせて設定することができ、ユーザにより聞こえやすい音声を出力することができる。
なお、処理部22は、様々な提示音を用いて図10に示すフローを繰り返し実行することで、補正パラメータをユーザに適した値に収束させ、ユーザにより聞こえやすい音声を出力することができる。また、処理部22は、図10に示すフローを定期的(例えば、3ヶ月毎、6ヶ月毎等)に実行することで、ユーザの聴力に変化があった場合であっても、ユーザにより聞こえやすい音声を出力することができる。
また、処理部22は、ステップS16でディスプレイ2に一覧表示された項目のいずれかが選択されたと判定したら(ステップS16でYes)、選択された項目をログとして記憶部24に記憶し、ユーザからの指示入力に応じてログの内容を表示部32に表示させるようにしても良い。これにより、ユーザはログを参照することで、過去に選択した項目を把握し、補正パラメータの調整の過程を把握することができる。これにより、ユーザが補正パラメータの調整をすることをより容易にすることができる。
次に、図13を用いて携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図13は、携帯電子機器の動作の一例を示すフロー図である。なお、図13に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理してもよい。また、プログラムは、外部からダウンロードして取得することができる。また、図13に示す動作を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器1に送信し、携帯電子機器1がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器1がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。
まず、携帯電子機器1の処理部22は、ステップS22として、提示音(テスト音)を再生する。なお、提示音としては、不快閾値近傍及び可聴閾値近傍の音が聴こえに大きく影響するので、不快閾値ぎりぎりの音(不快閾値よりわずかに小さい音)や可聴閾値ぎりぎりの音(可聴閾値よりわずかに大きい音)が好ましい。
次に、処理部22は、ステップS24として、音に関する不満(要望)をユーザに質問する音声をレシーバ16又はスピーカ17により再生する。図14は、携帯電子機器1が音に関する不満をユーザに質問する音声を再生したときの様子を示す図である。処理部22は、例えば、図14に示すように、「聴こえでどんな不満がありますか?」という質問の音声をレシーバ16又はスピーカ17により再生する。
次に、処理部22は、ステップS26として、質問に対する回答(音に関する不満)の音声がマイク15により入力されたか否かを判定する。処理部22は、音に関する不満の音声が入力されていないと判定したら(ステップS26でNo)、処理をステップS26で待機させる。
また、処理部22は、音に関する不満の音声がマイク15により入力されたと判定したら(ステップS26でYes)、ステップS28として、音声解析部22bにより入力された音声を解析し、補正パラメータ設定部22aによりユーザの不満を緩和する(要望を満たす)補正パラメータを出力音補正部34に設定する。例えば、処理部22は、図14に示すように、「音がうるさくて耳に響くんだよね」という音声が入力されたら、音声解析部22bにより「うるさい」、「響く」というキーワードを検出し、補正パラメータ設定部22aにより大きい音全体のゲインを下げる補正パラメータを出力音補正部34に設定する。
これにより、操作部13による操作に不慣れなユーザであっても、音に関する不満をしゃべるだけで補正パラメータをユーザに合わせて設定することができ、ユーザにより聞こえやすい音声を出力することができる。
また、処理部22は、ステップS26で音に関する不満の音声がマイク15により入力されたと判定したら(ステップS26でYes)、入力された音声又はキーワードをログとして記憶部24に記憶し、ユーザからの指示入力に応じてログの内容をレシーバ16又はスピーカ17により出力したり、表示部32に表示させたりしても良い。これにより、ユーザはログを参照することで、過去に入力した音声又はキーワードを把握し、補正パラメータの調整の過程を把握することができる。これにより、ユーザが補正パラメータの調整をすることをより容易にすることができる。
次に、図15を用いて携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図15は、携帯電子機器の動作の一例を示すフロー図である。なお、図15に示す動作は、通話が開始されたら実行される。また、図15に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理してもよい。また、プログラムは、外部からダウンロードして取得することができる。また、図15に示す動作を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器1に送信し、携帯電子機器1がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器1がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。
まず、携帯電子機器1の処理部22は、ステップS42として、スペクトル分析部22cにより受話音声をスペクトル分析し、その結果を記憶部24に記憶する。図16−1は、携帯電子機器1が受話音声をユーザに向けて発している様子を示す図である。また、図16−2は、受話音声の音声信号の例を示す図である。図16−3は、図16−2に示す音声信号を累計したスペクトル成分を示す図である。
なお、携帯電話通信においては、CELP(符号励振線形予測符号化)、EVRC(可変レート音声コーデック)、AMR(適応型マルチレート)等の音声符号化が行われるので、受話音声の音質は肉声の音質とは異なる場合がある。
次に、処理部22は、ステップS44として、通話が終了したか否かを判定する。処理部22は、通話が終了していないと判定したら(ステップS44でNo)、処理をステップS42に進める。
また、処理部22は、通話が終了したと判定したら(ステップS44でYes)、ステップS46として、音に関する不満(要望)をユーザに質問する音声をレシーバ16又はスピーカ17により再生する。処理部22は、例えば、「聴こえでどんな不満がありますか?」という質問の音声をレシーバ16又はスピーカ17により再生する。
次に、処理部22は、ステップS48として、質問に対する回答(音に関する不満)の音声がマイク15により入力されたか否かを判定する。処理部22は、音に関する不満の音声が入力されていないと判定したら(ステップS48でNo)、処理をステップS48で待機させる。
また、処理部22は、音に関する不満の音声がマイク15により入力されたと判定したら(ステップS48でYes)、ステップS50として、音声解析部22bにより入力された音声を解析し、受話音声のスペクトル分析結果を用いて、補正パラメータ設定部22aによりユーザの不満を緩和する補正パラメータを出力音補正部34に設定する。図16−4は、ユーザが音に関する不満を発している様子を示す図である。例えば、処理部22は、図16−4に示すように、「言葉が良く聴き取れなかった」という音声が入力されたら、補正パラメータ設定部22aによりスペクトル成分の大きさが小さかった周波数帯域のゲインを上げる補正パラメータを出力音補正部34に設定する。
これにより、実際の受話音声に基づいた補正パラメータを設定することができ、ユーザにより聞こえやすい音声を出力することができる。また、受話音声がCELP、EVRC、AMR等の音声符号化されている場合であっても、実際の受話音声に基づいた補正パラメータを設定することができるので、ユーザにより聞こえやすい音声を出力することができる。
なお、処理部22は、ステップS42での受話音声のスペクトル分析結果をログとして記憶部24内に残しても良い。また、処理部22は、ステップS48でのユーザからの音声入力の際に、受話音声のスペクトル分析結果を表示部32に表示させるようにしてもよい。これにより、ユーザが補正パラメータの調整をすることをより容易にすることができる。
また、処理部22は、ステップS48で音に関する不満の音声がマイク15により入力されたと判定したら(ステップS48でYes)、入力された音声又はキーワードをログとして記憶部24に記憶し、ユーザからの指示入力に応じてログの内容をレシーバ16又はスピーカ17により出力したり、表示部32に表示させたりしても良い。これにより、ユーザはログを参照することで、過去の受話音声のスペクトル分析結果、過去に入力した音声又はキーワードを把握し、補正パラメータの調整の過程を把握することができる。これにより、ユーザが補正パラメータの調整をすることをより容易にすることができる。
また、図15に示す処理をサーバで実行する場合には、受話音声のスペクトル分析結果及び補正パラメータ調整結果をログとしてサーバ内に記憶しておくようにしても良い。また、サーバが、テスト音として適切な会話の音声データ(例えば、高音域が強い音声データ、低音域が強い音声データ、低音域から高音域までの音を有する音声データ等)を記憶しておき、後で提示音として携帯電子機器1に送信し再生させるようにしても良い。このようにサーバ側で会話の音声データを記憶しておくことで、ユーザが携帯電子機器1を買い換えた(機種変更した)場合に、サーバ側で記憶されている音声データを提示音として補正パラメータの調整を容易に行うことができる。
また、ここでは、ユーザが音に関する不満を音声で入力することとしたが、ユーザが持つことが想定される音に関する不満を一覧表示し、ユーザが一覧表示された項目のいずれかを選択することとしても良い。
次に、図17を用いて携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図17は、携帯電子機器の動作の一例を示すフロー図である。なお、図17に示す動作は、通話が開始されたら実行される。また、図17に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理してもよい。また、プログラムは、外部からダウンロードして取得することができる。また、図17に示す動作を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器1に送信し、携帯電子機器1がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器1がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。
まず、携帯電子機器1の処理部22は、ステップS52として、スペクトル分析部22cにより受話音声をスペクトル分析し、その結果を記憶部24に記憶する。次に、処理部22は、ステップS54として、音に関する操作入力(例えば、ボリューム調整、音質調整等)があるか否かを判定する。処理部22は、音に関する操作があると判定したら(ステップS54でYes)、ステップS56として、操作入力をスペクトル分析の結果と対応づけてログとして記憶部24に記憶する。
処理部22は、音に関する操作入力がないと判定したら(ステップS54でNo)又はステップS56を実行したら、ステップS58として、通話が終了したか否かを判定する。処理部22は、通話が終了していないと判定したら(ステップS58でNo)、処理をステップS52に進める。
また、処理部22は、通話が終了したと判定したら(ステップS58でYes)、ステップS60として、操作入力とスペクトル分析の結果とから補正パラメータを出力音補正部34に設定する。例えば、処理部22は、通話中にボリュームを上げる操作入力がされたら、音全体のゲインを上げる補正パラメータを出力音補正部34に設定する。また、例えば、処理部22は、通話中に高音を強くする音質調整の操作入力がされたら、高音のゲインを上げる補正パラメータを出力音補正部34に設定する。
これにより、通話中の操作入力に基づいて補正パラメータを設定することができ、実際の受話音声に応じた補正パラメータを設定することができ、ユーザにより聞こえやすい音声を出力することができる。
なお、処理部22は、ステップS52での受話音声のスペクトル分析結果をログとして記憶部24内に残しても良い。また、処理部22は、ステップS54で音に関する操作入力がありと判定したら(ステップS54でYes)、入力された操作内容をログとして記憶部24に記憶し、ユーザからの指示入力に応じてログの内容を表示部32に表示させるようにしても良い。これにより、ユーザはログを参照することで、過去の受話音声のスペクトル分析結果、過去に入力した操作入力を把握し、補正パラメータの調整の過程を把握することができる。
次に、図18を用いて携帯電子機器の補正パラメータ設定動作の一例を説明する。ここで、図18は、携帯電子機器の動作の一例を示すフロー図である。また、図18に示す動作は、記憶部24に記憶されたアプリケーションを実行することで処理してもよい。また、プログラムは、外部からダウンロードして取得することができる。また、図18に示す動作を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが音声、画像等を携帯電子機器1に送信し、携帯電子機器1がサーバから受信した音声の出力、画像の表示等をし、携帯電子機器1がユーザから入力があった場合に入力データをサーバに送信するようにしても良い。
まず、携帯電子機器1の処理部22は、ステップS72として、提示音生成部22dにより提示音(テスト音)を再生する。なお、提示音としては、不快閾値近傍及び可聴閾値近傍の音が聴こえに大きく影響するので、設定された不快閾値ぎりぎりの音(不快閾値よりわずかに小さい音)や設定された可聴閾値ぎりぎりの音(可聴閾値よりわずかに大きい音)が好ましい。
次に、処理部22は、ステップS74として、ユーザが持つことが想定される音に関する不満(要望)をディスプレイ2に一覧表示する。図19−1は、ディスプレイ2に一覧表示される音に関する不満の例を示す図である。図19−1を参照すると、「ひびく/うるさい」という項目53a、「つまって聴こえる」という項目53b、「よく聴こえない」という項目53c、「キンキンする」という項目53d、「こもる」という項目53e、「不満はない」という項目53fがディスプレイ2に一覧表示される。
再び図18を参照すると、次に、処理部22は、ステップS76として、ディスプレイ2に一覧表示された項目のいずれかが選択されたか否かを判定する。処理部22は、ディスプレイ2に一覧表示された項目のいずれかが選択されていないと判定したら(ステップS76でNo)、処理をステップS76で待機させる。
また、処理部22は、ディスプレイ2に一覧表示された項目のいずれかが選択されたと判定したら(ステップS76でYes)、ステップS78として、「不満はない」という項目53fが選択されたか否かを判定する。処理部22は、「不満はない」という項目53fが選択されたと判定したら(ステップS78でYes)、処理を終了する。
また、処理部22は、「不満はない」という項目53fが選択されていないと判定したら(ステップS78でNo)、ステップS80として、補正パラメータ設定部22aにより、選択された不満を緩和する(要望を満たす)補正パラメータを出力音補正部34に設定する。例えば、処理部22は、図19−1に示すように「つまって聴こえる」という項目53bが選択されたら、高い音の大きさがユーザにとって小さいことがわかるので、補正パラメータ設定部22aにより、高い音のゲインを上げる補正パラメータを出力音補正部34に設定する。
次に、処理部22は、ステップS82として、高い音と低い音のどちらに不満があるかを選択入力するための画像をディスプレイ2に表示する。図19−2は、高い音と低い音のどちらに不満があるかを選択入力するための画像をディスプレイ2に表示した様子の例を示す図である。図19−2に示すように、「高い音」という項目54a、「低い音」という項目54b、「両方」という項目54cがディスプレイ2に表示される。
次に、処理部22は、ステップS84として、ディスプレイ2に表示された項目のいずれかが選択されたか否かを判定する。処理部22は、ディスプレイ2に表示された項目のいずれかが選択されていないと判定したら(ステップS84でNo)、処理をステップS84で待機させる。
また、処理部22は、ディスプレイ2に表示された項目のいずれかが選択されたと判定したら(ステップS84でYes)、ステップS86として、補正パラメータ設定部22aにより、選択された音の不満を緩和する補正パラメータを出力音補正部34に設定する。例えば、処理部22は、図19−2に示すように「低い音」という項目54bが選択されたら、補正パラメータ設定部22aにより、低い音のゲインを上げる補正パラメータを出力音補正部34に設定する。処理部22は、その後、処理をステップS72に進める。
これにより、補正パラメータをユーザの聴こえに合わせて設定することができ、ユーザにより聞こえやすい音声を出力することができる。
また、処理部22は、ステップS72〜ステップS86のループを実行することで、補正パラメータをユーザに適した値に収束させ、ユーザにより聞こえやすい音声を出力することができる。
なお、本実施形態では、補正パラメータの設定処理を、処理部22で行ったが、本発明はこれに限定されない。携帯電子機器1は、各種演算処理を、送受信部26を介して通信可能なサーバで実行してもよい。つまり、演算処理自体は、外部で行っても良い。この場合、携帯電子機器1は、サーバから送信された音声の出力、画像の表示等を行い、ユーザから入力された操作をデータとしてサーバに送信する。このように、サーバで演算を行ったり、補正パラメータを設定したりすることで、携帯電子機器にかかる負荷を少なくすることができる。また、通信を行うサーバで予め補正パラメータを設定し、サーバが補正パラメータに基づいて音声信号を補正するようにしてもよい。つまり、サーバと携帯電子機器とを1つのシステムとして、上述した処理を行うようにしてもよい。これにより、携帯電子機器1は、予め補正された音声信号を受け取ることができるため、補正処理自体を実行しないようにすることもできる。