以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。また、携帯電子機器を含むシステムにおいても適用することができる。
図1は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図2は、図1に示す携帯電子機器の側面図である。図1、図2に示す携帯電子機器1は、無線通信機能と、出力手段と、音声取得手段とを有する携帯電話機である。携帯電子機器1は、筐体1Cが複数の筐体で構成される。具体的には、筐体1Cは、第1筐体1CAと第2筐体1CBとで開閉可能に構成される。すなわち、携帯電子機器1は、折り畳み式の筐体を有する。なお、携帯電子機器1の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器1の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、2軸ヒンジを介して両方の筐体を連結したものでもよい。
第1筐体1CAと第2筐体1CBとは、連結部であるヒンジ機構8で連結されている。ヒンジ機構8で第1筐体1CAと第2筐体1CBとを連結することにより、第1筐体1CA及び第2筐体1CBは、ヒンジ機構8を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向(図2の矢印Rで示す方向)に回動できるように構成される。第1筐体1CAと第2筐体1CBとが互いに遠ざかる方向に回動すると携帯電子機器1が開き、第1筐体1CAと第2筐体1CBとが互いに接近する方向に回動すると携帯電子機器1が閉じて、折り畳まれた状態となる(図2の点線で示す状態)。
第1筐体1CAには、表示部として、図1に示すディスプレイ2が設けられる。ディスプレイ2は、携帯電子機器1が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器1の操作を補助するために用いられるメニュー画像を表示したりする。また、ディスプレイ2の表面には、タッチセンサ39が配置されている。また、第1筐体1CAには、携帯電子機器1の通話時に音声を出力する出力手段であるレシーバ16が設けられる。また、第1筐体1CAのディスプレイ2が配置されている面と反対側の面には、長手方向における位置がレシーバ16の近傍で、短手方向の両端部に、それぞれ、光検出素子36aと光検出素子36bとが設けられている。また、第1筐体1CAのディスプレイ2が配置されている面のレシーバ16の近傍には、カメラ38が設けられている。
第2筐体1CBには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13Aが複数設けられ、また、ディスプレイ2に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー13Bが設けられる。操作キー13A及び方向及び決定キー13Bは、携帯電子機器1の操作部13を構成する。また、第2筐体1CBには、携帯電子機器1の通話時に音声を受け取る音声取得手段であるマイク15が設けられる。操作部13は、図2に示す、第2筐体1CBの操作面1PCに設けられる。操作面1PCとは反対側の面が、携帯電子機器1の背面1PBである。また、第2筐体1CBの2つの側面(長手方向に平行な2つの側面)には、圧力センサ37を構成する圧力検出素子37a、37bがそれぞれ設けられている。
第2筐体1CBの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電子機器1と基地局との間で通話や電子メール等に係る電波(電磁波)の送受信に用いられる。また、第2筐体1CBには、マイク15が設けられる。マイク15は、図2に示す、携帯電子機器1の操作面1PC側に配置される。
ここで、本実施形態では、図1に示すように、第1筐体1CAのディスプレイ2に向かう方向で、レシーバ16側(矢印102の方向)を上方向とし、ヒンジ8(第2筐体1CB)側(矢印104の方向)を下方向とする。また、図1中左側(矢印106の方向)を右方向とし、図1中右側(矢印108の方向)を左方向とする。
図3は、図1、図2に示す携帯電子機器の機能の概略構成を示すブロック図である。図3に示すように、携帯電子機器1は、処理部22と、記憶部24と、送受信部26と、操作部13と、音声処理部30と、表示部32と、出力音補正部34と、加速度センサ35と、光センサ36と、圧力センサ37と、カメラ38と、タッチセンサ39と、を有する。処理部22は、携帯電子機器1の全体的な動作を統括的に制御する機能を有する。すなわち、処理部22は、携帯電子機器1の各種の処理が、操作部13の操作や携帯電子機器1の記憶部24に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32等の動作を制御する。
携帯電子機器1の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示等がある。
処理部22は、記憶部24に記憶されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部22は、例えば、マイクロプロセッサユニット(MPU:Micro Processing Unit)で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器1の各種の処理を実行する。すなわち、処理部22は、記憶部24に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
処理部22は、複数のアプリケーションプログラムを実行する機能を有する。処理部22が実行するアプリケーションプログラムとしては、例えば、各種の画像ファイル(画像情報)を記憶部24から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部32に表示させるアプリケーションプログラム等の複数のアプリケーションプログラムがある。
本実施形態において、処理部22は、出力音補正部34の補正パラメータを設定する補正パラメータ設定部22a、音声認識処理を行う音声解析部22b、音声のスペクトル分析を行うスペクトル分析部22c、所定の提示音(テスト音)を生成する提示音生成部22d、出力音補正機能を制御する補正機能制御部22eを有する。補正パラメータ設定部22a、音声解析部22b、スペクトル分析部22c、提示音生成部22d、補正機能制御部22eがそれぞれ有する機能は、処理部22及び記憶部24で構成されるハードウェア資源が、処理部22の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。なお、補正パラメータ設定部22a、音声解析部22b、スペクトル分析部22c及び提示音生成部22dの機能を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが実行結果を携帯電子機器1に送信するようにしても良い。
記憶部24には、処理部22での処理に利用されるソフトウェアやデータが記憶されており、上述した、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部24には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部24に対する制御に処理部22が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。
また、記憶部24は、さらに、使用者の利き耳の情報である利き耳情報24aと、右耳の聞こえに対応した補正パラメータが設定された右耳用補正パラメータ24bと、左耳の聞こえに対応した補正パラメータが設定された左耳用補正パラメータ24cが記憶されている。なお、利き耳情報24aは、ユーザにより設定される。また、右耳用補正パラメータ24bと左耳用補正パラメータ24cとは、補正パラメータ設定部22a、音声解析部22b、スペクトル分析部22c、提示音生成部22dを用いた、所定のパラメータ設定処理により設定される。
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部22によって記憶部24に割り当てられた作業領域へ一時的に記憶される。記憶部24は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。
送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部13は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー13Aと、方向及び決定キー13Bとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部22へ入力される。
音声処理部30は、マイク15に入力される音声信号やレシーバ16やスピーカ17から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部22へ出力する。また、処理部22から出力音補正部34を介して送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16やスピーカ17へ出力する。ここで、スピーカ17は、携帯電子機器1の筐体1C内に配置されており、着信音やメールの送信音等を出力する。
表示部32は、上述したディスプレイ2を有しており、処理部22から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ2は、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネルなどで構成された表示パネルで構成される。なお、表示部32は、ディスプレイ2に加え、サブディスプレイを有していてもよい。
出力音補正部34は、処理部22により設定される補正パラメータに基づいて、処理部22から送られる音声データに対して補正を行って音声処理部30に出力する。なお、出力音補正部34が行う補正は、入力される音声データに対して、補正パラメータに基づいて、音の大きさ及び周波数に応じて異なるゲインで増幅する補正である。また、出力音補正部34は、ハードウェア回路で実現しても良いし、CPUとプログラムで実現しても良い。出力音補正部34をCPUとプログラムで実現する場合、出力音補正部34を処理部22内で実現するようにしても良い。また、出力音補正部34の機能を、送受信部26を介して通信可能なサーバで実行し、サーバが補正処理後の音声データを携帯電子機器1に送信するようにしても良い。
加速度センサ35は、筐体1Cに加わる加速度を検出する検出器である。加速度センサ35として、種々の方法で加速度を検出する検出器を用いることができ、例えば、静電容量の変化や、ピエゾ抵抗の変化、相対位置の変化等で加速度を検出する検出器を用いることができる。加速度センサ35は、操作者が筐体1Cを振ったり、移動させたりする際に、筐体1Cに作用する加速度を検出する。
光センサ36は、入射する光の強度を算出する検出器であり、光検出素子36a及び光検出素子36bで構成されている。なお、光センサ36は、光検出素子36a及び光検出素子36bがそれぞれの位置における光の強度を算出する。光検出素子36a及び光検出素子36bとしては、フォトダイオード等を用い受光した光を電圧に変換し、変換した電圧値により光の強度を検出する検出器や、光の強度により抵抗が変化するフォトレジスタや光依存性抵抗(LDR)を用いて光の強度を検出する検出器や、受光すると発電する太陽電池等を用いて、発電量から光の強度を検出する検出器等を用いることができる。
圧力センサ37は、圧力を検出するセンサであり、圧力検出素子37a及び圧力検出素子37bで構成される。圧力検出素子37a及び圧力検出素子37bは、上述したように第2筐体1CBの側面の互いに対向する位置に設けられている。圧力センサ37は、圧力検出素子37a及び37bが設けられている面に直交する方向、つまり、圧力検出素子37aと圧力検出素子37bとを近づける方向に加えられた圧力を検出値として検出する。なお、圧力検出素子37a及び圧力検出素子37bは、それぞれの素子で圧力を検出する。ここで、圧力検出素子としては、例えば、半導体ダイヤフラム型、静電容量型、弾性体ダイヤフラム型、圧電型、振動型等種々の方式の圧力検出素子を用いることができる。
カメラ38は、第1筐体1CAの上面に設けられ、ディスプレイ2に対面する領域の画像を取得する撮像機構である。
タッチセンサ39は、接触を検出するセンサであり、ディスプレイ2の表面(画像を表示させる面)に配置される。タッチセンサ39は、表面への接触を検出することができる。携帯電子機器1は、ディスプレイ2に文字、図形、画像等を表示するとともに、指、スタイラス、ペン等を用いてタッチセンサ39に対して行われる各種動作を検出することで、ユーザの操作を検出することができる。つまり、携帯電子機器1は、タッチセンサ39と、ディスプレイ2によりタッチパネル操作部の機能を実行することができる。タッチセンサ39としては、静電容量方式、表面弾性波方式、抵抗膜方式などの各種方式が用いられたタッチセンサ39(または、タッチセンサ39とディスプレイ2を組み合わせたタッチパネル)を用いることができる。
ここで、人間の聴覚について図4から図9を参照して説明する。図4は、人間の耳に入る音の大きさと人間が聴こえる(感じる)音の大きさとの関係を示すグラフである。健聴者の場合、耳に入る音の大きさと聴こえる音の大きさとは比例関係にある。一方、難聴者(高齢者、耳の病気を有する者等)の場合、一般的なイメージとしては、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると耳に入る音に比例して音が聴こえるようになる。つまり、一般的なイメージの人は、耳に入る音を単純に増幅してやれば良いと考えられている。しかし、実際には、難聴者は、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると急激に大きな音として聴こえるようになる。これにより、難聴者は、例えば、10dBの変化を20dBの変化に聴きとってしまう。そのため、大きい音に対して圧縮処理(大きい音に対するゲインを小さい音に対するゲインよりも小さくする処理)を行う必要がある。また、図5は、難聴者の聴力の周波数特性を示すグラフである。図5に示すように、難聴者は、低い音は良く聴こえるが、高い音ほど聴こえ難いことがわかる。なお、図5に示す特性は、一例であり、利用者によって聞こえる周波数特性は異なる。
図6は、健聴者、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係の一例を示す図である。なお、可聴閾値とは、適正に音が聴こえる下限の音の大きさであり、例えば、40dBで聴こえる音である。可聴閾値よりも小さい大きさの音は、小さくて聴こえにくい音になる。また、不快閾値とは、適正に音が聴こえる上限の音の大きさであり、例えば、90dBで聴こえる音である。不快閾値よりも大きい音は、音が大きくて不快に感じる音である。図6に示すように、難聴者は、可聴閾値42と不快閾値44とが共に、周波数が高くなるほど大きくなっている。なお、これに対して、健聴者は、可聴閾値46及び不快閾値48がともに、出力される音の大きさに対して一定となる。
次に、図7は、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係に、調整しないで出力される母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。図7に示すように、調整しないで出力される、つまり、健聴者の使用状態と同じ状態で出力させる母音は、範囲50で囲まれる周波数と音の大きさとの範囲の音で出力される。同様に、有声子音は、範囲52で囲まれる周波数と音の大きさとの範囲の音で出力され、無声子音は、範囲54で囲まれる周波数と音の大きさとの範囲の音で出力される。ここで、図7に示すように、難聴者の音が聞こえる範囲、可聴閾値42と不快閾値44の間には、母音の範囲50と、有声子音の範囲52の一部とが入るが、有声子音の範囲52の一部と、無声子音の範囲54の全部が入らない。このため、難聴者は、健聴者と同様の出力で音声を出力させると、母音は聴こえるが、子音(有声子音、無声子音)は殆ど聴こえないことがわかる。具体的には、有声子音は、一部聞こえるが、無声子音は、ほとんど聞こえない。
図8は、図7の高音(子音)を単純に増幅した図である。図8に示す母音の範囲50aは、図7に示す母音の範囲50と同様の範囲としている。また、有声子音の範囲52aは、図7に示す有声子音の範囲52よりも全体的に音の大きさが大きくなる方向、つまり範囲が図8中上方向に移動するように設定している。無声子音の範囲54aも、図7に示す無声子音の範囲54よりも全体的に音の大きさが大きくなる方向、つまり範囲が図8中上方向に移動するように設定している。図8に示すように、聞こえにくい周波数領域の音声、つまり、有声子音の範囲52aと、無声子音の範囲54aを単純に増幅すると、音の大きさが大きい範囲が不快閾値44を超えてしまい、高音が耳にキンキン響いてしまう。即ち、音がひずんで聞こえてしまい、言葉が明りょうに聞こえなくなる。
これに対して、図9は、本実施形態の携帯電子機器1の出力音補正部34により、音声を補正、具体的には、図8の大きい音に対して圧縮処理(大きい音に対するゲインを小さい音に対するゲインより小さくする処理)を行った図である。図9に示す母音の範囲50bは、図8に示す母音の範囲50aよりも大きい音に対するゲインを小さくしている。また、有声子音の範囲52bは、図8に示す有声子音の範囲52aよりも大きい音に対するゲインを小さくしている。また、無声子音の範囲54bも、図8に示す無声子音の範囲54aよりも大きい音に対するゲインを小さくしている。図9に示すように、小さい音は大きなゲインで増幅し、大きい音は小さいゲインで増幅することで、母音の範囲50b、有声子音の範囲52b及び無声子音の範囲54bを快適な音の大きさ(可聴閾値42と不快閾値44との間の大きさ)に含まれるようにすることができる。携帯電子機器1は、以上の事柄を考慮して、入力される音声データに対する補正パラメータを決定する。なお、補正パラメータは、入力される音声が、可聴閾値42と不快閾値44との間の大きさの音声としてユーザに聞こえるように補正を行うパラメータである。携帯電子機器1は、出力音補正部34により、決定した補正パラメータを用いて音の大きさ及び周波数に応じたゲインで増幅する補正を行い、音声処理部30に出力する。これにより、携帯電子機器1は、耳が聞こえにくいユーザでも、好適に音声を聞くことが可能となる。
次に、携帯電子機器の補正パラメータ設定動作を説明する。携帯電子機器1は、補正パラメータの設定機能が起動されたら、補正パラメータ設定部22aにより補正パラメータの設定処理を行う。まず、提示音生成部22dで提示音を生成し、レシーバ16またはスピーカ17から出力する。ここで、本実施形態において、提示音とは、補正パラメータの設定時にユーザが聞き取る対象の音声であり、単語、文章である。なお、提示音としては、聞き間違いが発生しやすい単語、文章を用いることが好ましい。なお、提示音としては、例えば、「安全」や「完全」や「断然」を用いることができる。「安全」と「完全」と「断然」とは、互いに聞き間違いしやすい音声である。また、提示音としては、「売り上げ」や「おみやげ」や「もみあげ」も用いることができる。また、このほかにも、「環境」や「反響」や「探求」も用いることができる。なお、以下では、提示音として「いなか(田舎)」を出力した場合として説明する。また、提示音は、不快閾値と可聴閾値とを設定できるように、設定された不快閾値ぎりぎりの音(例えば、不快閾値よりわずかに小さい音)や設定された可聴閾値ぎりぎりの音(例えば、可聴閾値よりわずかに大きい音)を用いることが好ましい。
携帯電子機器1は、提示音を出力したら、聞き取った音を入力する画面を表示させる。携帯電子機器1は、画面を表示させている状態で、操作部13が操作され、文字が入力されたら、入力された文字を表示させる。また、携帯電子機器1は、提示音の文字と、入力された文字とが一致したか否かをユーザに通知する画面を表示させる。携帯電子機器1は、以上のようにして、ディスプレイ2に画面を表示させつつ、提示音を出力し、制御を行うことで、補正パラメータの調整を周波数域毎、各母音、各有声子音、各無声子音で行う。携帯電子機器1は、以上のようにして、周波数毎に補正パラメータを設定する。
なお、補正パラメータ設定部22aによる補正パラメータの設定方法は、これに限定されない。例えば、通話時の通話音声をスペクトル分析部22cにより解析し、そのスペクトル分析部22cの解析結果に対するユーザの感想(例えば、聞こえにくい、キンキン聞こえる)に基づいて、補正パラメータを設定してもよい。なお、ユーザの感想の入力方法は、項目の選択、文字入力、音声入力等種々の入力方法がある。また、サンプルの音声は、提示音生成部22dから出力させてもよい。
また、携帯電子機器1は、利用者が出力した音声を右耳で聞く状態で、上記補正パラメータの設定を行い、右耳用補正パラメータを設定し、記憶部24に記憶させる。携帯電子機器1は、さらに、出力した音声を左耳のみで聞く状態で、上記補正パラメータの設定を行い、左耳用補正パラメータを設定し、記憶部24に記憶させる。
次に、図10から図14を用いて携帯電子機器1の音声出力時の処理の一例について説明する。ここで、図10は、携帯電子機器の動作の一例を説明するためのフロー図である。また、図11から図13は、それぞれ携帯電子機器の動作を説明するための説明図である。また、図14は、携帯電子機器の動作の一例を説明するためのフロー図である。なお、図10及び図14に示す処理動作は、基本的に処理部22が補正機能制御部22eを機能させることで実行される。また、図10に示す処理は、通話時等、レシーバ16、スピーカ17から音声を出力する処理の実行時に行われる。また、図10に示す処理は、加速度センサ35で使用状態を識別するための識別情報を取得し、その取得情報に基づいて、使用する補正パラメータを設定する処理である。
携帯電子機器1の処理部22は、ステップS12としてスタート処理済みフラグがONであるかを判定する。ここで、スタート処理済みフラグとは、音声を出力する処理の開始時に実行される処理、例えば、電話の呼び出しや、通話ボタンの押下等が実行されたかを示すフラグである。処理部22は、ステップS12でスタート処理済みフラグがONではない(No)、つまり、スタート処理済みフラグがOFFであると判定したら、ステップS14として、使用耳データに利き耳情報をセットする。つまり、処理部22は、記憶部24の利き耳情報24aに記憶されている情報を読み出し、読み出した耳の情報を使用耳(音声を聞くために使用している耳)として設定する。処理部22は、ステップS14で使用耳データをセットしたら、ステップS16としてスタート処理済みフラグをONにした後、ステップS32に進む。
また、処理部22は、ステップS12でスタート処理済みフラグがONである(Yes)と判定したら、ステップS20として、左右方向どちらかに閾値ThH以上の加速度を検出したかを判定する。なお、閾値ThHは、予め設定された値であり、筐体1Cが移動したと判定できる加速度である。処理部22は、ステップS20で左右方向どちらにも閾値ThH以上の加速度を検出していない(No)と判定したら、ステップS32に進む。
また、処理部22は、ステップS20で左右方向どちらかに閾値ThH以上の加速度を検出した(Yes)と判定したら、ステップS22に進む。つまり、処理部22は、矢印106の方向、または、矢印108の方向へのどちらかに閾値ThH以上の加速度を検出したら、ステップS22に進む。例えば、図12に示すように、ユーザが携帯電子機器1を台に置いた状態から、自身の顔に近づける動作、具体的には矢印120に示す軌道(携帯電子機器1にとって左方向(矢印108方向)側)で右耳に移動させる動作、または、矢印122に示す軌道(携帯電子機器1にとって右方向(矢印106方向)側)で左耳に移動させる動作を行ったら、処理部22が、その移動により生じる加速度を検出して携帯電子機器1が移動したと判定し、ステップS22に進む。
次に、処理部22は、ステップS20でYesと判定したら、ステップS22として、左右方向の加速度が閾値ThL以下に安定したかを判定する。ここで、閾値ThLは、予め設定された値であり、筐体1Cが移動していないと判定できる加速度である。閾値ThLは、手ぶれ等で生じる程度の加速度よりは高い値である。なお、処理部22は、加速度が閾値ThL以下である状態が所定時間の間継続したら、安定していると判定する。処理部22は、ステップS22で、左右方向の加速度が閾値ThL以下に安定していない(No)と判定したら、ステップS22に進む。つまり、処理部22は、ステップS20で左右方向どちらかに閾値ThH以上の加速度を検出したら、左右方向の加速度が閾値ThL以下に安定するまで、ステップS22の処理を繰り返す。
処理部22は、ステップS22で、左右方向の加速度が閾値ThL以下に安定した(Yes)と判定したら、ステップS24として、傾き方向を判定する。なお、処理部22は、加速度センサ35で検出する加速度により鉛直方向を検出し、その鉛直方向と携帯電子機器1の向きとの相対関係から携帯電子機器1の向きを検出することができる。処理部22は、ステップS24で傾き方向がなしと判定したら、ステップS26に進み、傾き方向が右であると判定したら、ステップS28に進み、傾き方向が左であると判定したら、ステップS30に進む。
処理部22は、ステップS24で傾き方向なし、つまり、筐体1Cが右方向(矢印106方向)にも左方向(矢印108方向)にも傾いていないと判定したら、ステップS26として、閾値ThH以上の加速度方向が右であるかを判定する。つまり、ステップS20で加速度を検出した方向が右方向(矢印106方向)であるかを判定する。処理部22は、ステップS26で検出方向が右方向である(Yes)と判定したら、ステップS28に進む。また、処理部22は、ステップS26で検出方向が右方向ではない(No)と判定したら、つまり、ステップS20で加速度を検出した方向が左方向(矢印108方向)であると判定したら、ステップS30に進む。
処理部22は、ステップS24で傾き方向が右方向である、つまり、図12に示すように、携帯電子機器1が右方向に傾いている場合、また、ステップS26で検出方向が右方向であると判定したら、携帯電子機器1のレシーバを左耳に当てていると判定し、ステップS28として、使用耳データに左耳をセットする。処理部22は、ステップS28で左耳を使用耳データに設定したら、ステップS32に進む。
また、処理部22は、ステップS24で傾き方向が左方向である、つまり、図13に示すように、携帯電子機器1が左方向に傾いている場合、また、ステップS26で検出方向が左方向であると判定したら、携帯電子機器1のレシーバを右耳に当てていると判定し、ステップS30として、使用耳データに右耳をセットする。処理部22は、ステップS30で右耳を使用耳データに設定したら、ステップS32に進む。
処理部22は、ステップS16、ステップS28、ステップS30の処理を終了したら、または、ステップS20でNoと判定したら、ステップS32として、処理終了トリガーが発生しているかを判定する。ここで、処理終了トリガーとは、出力音補正部34による音声補正処理を終了する指示を示すフラグであり、例えば、音声通話の終了時や、出力音の補正機能の停止指示が入力されると発生させる。
処理部22は、ステップS32で処理終了トリガーが発生していない(No)、つまり、処理終了トリガーがないと判定したら、ステップS12に進み、上述した、ステップS12からステップS32の処理を繰り返す。
処理部22は、ステップS32で処理終了トリガーが発生している(Yes)と判定したら、ステップS34として、スタート処理済みフラグをOFFにして、本処理を終了する。
次に、携帯電子機器1の処理部22は、図10を用いて設定した使用耳データに基づいて、音声信号の補正を行いつつ、音声を出力する。以下、図14を用いて説明する。まず、処理部22は、ステップS40として、使用耳データを検出する。処理部22は、ステップS40で使用耳データが右耳であると判定したら、ステップS42として、右耳用補正パラメータで、音声信号を補正する。つまり、処理部22は、使用耳データが、右耳である場合は、右耳用補正パラメータ24bを使用する補正パラメータ(使用補正パラメータ)として設定する。そして、出力音補正部34は、設定されている使用補正パラメータにより、音声信号を補正し、音声処理部30から出力させる。
処理部22は、ステップS40で使用耳データが左耳であると判定したら、ステップS44として、左耳用補正パラメータで、音声信号を補正する。つまり、処理部22は、使用耳データが、左耳である場合は、左耳用補正パラメータ24cを使用する補正パラメータ(使用補正パラメータ)として設定する。そして、出力音補正部34は、設定されている使用補正パラメータにより、音声信号を補正し、音声処理部30から出力させる。処理部22は、ステップS42、ステップS44の処理を終了したら、本処理を終了する。なお、処理部22は、音声を出力されている処理が終了するまで、図14の処理を繰り返し、実行する。なお、処理部22は、使用耳が再設定されるまで、ステップS42、44の処理を行い、使用耳データが更新されたら、ステップS40の処理を行うようにしてもよい。
携帯電子機器1は、音声信号が入力されたら、出力音補正部34が、設定した補正パラメータに基づいて、音声信号を補正し音声処理部30に出力する。これにより、携帯電子機器1は、ユーザの聴こえ(音声の聞こえ方、聴覚の特性)に合わせて設定した補正パラメータによって音声信号を補正することができ、ユーザにより聞こえやすい音声を出力することができる。
さらに、処理部22は、右耳用補正パラメータと、左耳用補正パラメータを設け、どちらの耳で音を聞いているかによって、使用する補正パラメータを切り替えることで、ユーザにより聞こえやすい音声を出力することができる。つまり、ユーザ毎の聴こえ(音声の聞こえ方、聴覚の特性)に加え、ユーザの左右の聴こえに適応した音声に補正することができる。また、ユーザが左右のいずれの耳で音声を聞いているかを自動的に検出することで、ユーザが操作を入力することなく、使用に応じた補正パラメータを設定することができる。
また、利き耳情報を設定し、初期設定では、聞き耳情報に基づいて、使用耳を設定することで、使用している耳を検出していない状態では、使用されている可能性が高い耳に対する補正パラメータを設定することができる。
また、加速度センサ35の検出結果により、携帯電子機器1の向きを判定することで、効率よく使用耳の情報を検出することができる。さらに、携帯電子機器1の移動の加速度に基づいて使用耳の情報を検出することでも使用耳を検出することができる。また、携帯電子機器1の移動を検出したら、使用耳の情報を更新する処理を行うことで、使用耳の変更を的確に検出することができる。
また、処理部22は、提示音を、母音と有声子音と無声子音とに別け解析を行い、それぞれに対応する周波数毎に補正パラメータを設定することで、より聴こえやすい音声を出力することができる。
また、本実施形態のように加速度センサ35により筐体1Cの移動方向を検出する場合は、通話ボタンが押下されてからの移動方向に基づいて、使用耳データを設定することが好ましい。ここで、通話ボタンの押下は、ユーザが目視でボタンの位置を確認しながら実行され、その後通話のために、筐体1Cを視界の外の左右のいずれかの耳に移動させる操作を行う。このため、通話ボタン押下後は、使用耳側への筐体の移動が高確率で発生するため、使用耳をより的確に判定することができる。
ここで、上記実施形態では、音声を聞いている聞き耳の情報を加速度センサ35で取得した情報に基づいて検出したが、これには限定されない。携帯電子機器1は、聞き耳を検出するための情報、つまり識別情報として、種々の情報を用いることができ、識別情報を検出する識別情報検出部も加速度センサ以外の種々の検出部を用いることができる。
次に、図15から図17を用いて携帯電子機器1の音声出力時の処理の他の例について説明する。ここで、図15は、携帯電子機器の動作の一例を説明するためのフロー図である。また、図16及び図17は、それぞれ携帯電子機器の動作を説明するための説明図である。また、図15に示す処理は、光センサ36で使用状態を識別するための識別情報を取得し、その取得情報に基づいて、使用する補正パラメータを設定する処理である。
携帯電子機器1の処理部22は、ステップS12としてスタート処理済みフラグがONであるかを判定する。処理部22は、ステップS12でスタート処理済みフラグがONではない(No)、つまり、スタート処理済みフラグがOFFであると判定したら、ステップS14として、使用耳データに利き耳情報をセットする。なお、ステップS14の処理とステップS16の処理は、上述の図10の処理と同様であるので説明を省略する。
また、処理部22は、ステップS12でスタート処理済みフラグがONである(Yes)と判定したら、ステップS80として、明暗変化があるかを判定する。なお、明暗変化とは、光検出素子36aと、光検出素子36bとで、検出する光量(光強度)のバランスが変化したか、つまり、より高い光量を検出する素子が切り替わったかを判定する。処理部22は、ステップS80で明暗変化がない(No)と判定したら、ステップS32に進む。
また、処理部22は、ステップS80で明暗変化がある(Yes)と判定したら、ステップS82に進む。次に、処理部22は、ステップS82として、左側が右側より明るいかを判定する。つまり、携帯電子機器1の右側、つまり、図1中矢印106側に配置された光検出素子36bで検出した光量と、処理部22は、携帯電子機器1の左側、つまり、図1中矢印108側に配置された光検出素子36aで検出した光量と、を比較し、左側が右側より明るいかを判定する。つまり、処理部22は、光検出素子36aで検出した光量が、光検出素子36bで検出した光量よりも高いかを判定する。
処理部22は、ステップS82で、左側が右側より明るい(Yes)、つまり、光検出素子36aで検出した光量が、光検出素子36bで検出した光量よりも高いと判定したら、携帯電子機器1のレシーバを左耳に当てていると判定し、ステップS84として、使用耳データに左耳をセットする。処理部22は、ステップS84で左耳を使用耳データに設定したら、ステップS32に進む。つまり、左側が右側より明るい場合は、図16に示すように、光検出素子36aがより上側でより多くの光を受ける携帯電子機器1が左耳に当てられた姿勢であると判定する。
処理部22は、ステップS82で、左側が右側より明るくない(No)、つまり、右側の明るさが左側以上である、すなわち、光検出素子36aで検出した光量が、光検出素子36bで検出した光量以下である判定したら、携帯電子機器1のレシーバを右耳に当てていると判定し、ステップS86として、使用耳データに右耳をセットする。処理部22は、ステップS86で右耳を使用耳データに設定したら、ステップS32に進む。つまり、右側が左側以上に明るい場合は、図17に示すように、光検出素子36bがより上側でより多くの光を受ける携帯電子機器が右耳に当てられた姿勢であると判定する。
処理部22は、ステップS16、ステップS84、ステップS86の処理を終了したら、または、ステップS80でNoと判定したら、ステップS32として、処理終了トリガーが発生しているかを判定する。ここで、処理終了トリガーとは、出力音補正部34による音声補正処理を終了する指示を示すフラグであり、例えば、音声通話の終了時や、出力音の補正機能の停止指示が入力されると発生させる。
処理部22は、ステップS32で処理終了トリガーが発生していない(No)、つまり、処理終了トリガーがないと判定したら、ステップS12に進み、上述した、ステップS12からステップS32の処理を繰り返す。
処理部22は、ステップS32で処理終了トリガーが発生している(Yes)と判定したら、ステップS34として、スタート処理済みフラグをOFFにして、本処理を終了する。
このように、加速度センサ35に代えて、あるいは加えて、光センサ36の検出結果に基づいて使用耳データを検出、設定するようにしても上記と同様の効果を得ることができる。
ここで、光センサ36を用いて、使用耳を判定する場合は、加速度センサ35により筐体1Cの姿勢を検出し、検出した姿勢に基づいて、光量のバランスの設定を調整することが好ましい。これにより、ユーザが立っている状態で携帯電子機器1を使用している場合、寝ている状態で携帯電子機器1を使用している場合等に合わせて、適切な判定基準を設定することができる。
また、識別情報取得部としては、圧力センサを用いることもできる。ここで、図18及び図19は、それぞれ携帯電子機器の動作を説明するための説明図である。圧力センサ37の圧力検出素子37a、37bは、音声出力時にユーザが筐体を握る際に作用する圧力を検出する。圧力センサ37は、筐体の右側の側面と、左側の側面に左右する圧力の差を圧力検出素子37a、37bで検出することができる。つまり、筐体を右手で把持する場合と、左手で把持する場合とで、親指が接触する辺が逆になる。このため、処理部22は、圧力の差に基づいて、筐体1Cを把持する手を検出することができ、検出した手が右手であるか左手であるかで、使用耳を検出することができる。具体的には、図18に示すように、右手で筐体1を把持している場合は、親指が圧力検出素子37a側となる。処理部22は、圧力センサ37の検出値に基づいて、右手で把持していることを検出し、その結果に基づいて、使用耳が右耳であることを検出することができる。また、図19に示すように、左手で筐体1C(第2筐体1CB)を把持している場合は、親指が圧力検出素子37b側となる。処理部22は、圧力センサ37の検出値に基づいて、左手で把持していることを検出し、その結果に基づいて、使用耳が左耳であることを検出することができる。携帯電子機器1は、このように、圧力センサ37の検出結果に基づいても使用耳を検出することができる。
また、これ以外にも識別情報取得部として、カメラ38を用い、カメラ38で使用時のレシーバ16と対面する領域の画像を取得し、その結果に基づいて、使用耳を判定することもできる。つまり、カメラ38によりユーザの横顔や、耳の画像を撮影し、その画像を解析することで、顔の向きや、レシーバ16と対面している耳が右耳か左耳かを検出することができる。このようにカメラ38を用いる場合も同様の効果を得ることができる。
さらに、識別情報取得部として、タッチセンサ39を用い、音声出力時にタッチセンサ39で検出する接触に基づいて、使用耳を判定することもできる。つまり、タッチセンサ39により音声出力時にレシーバ16の近傍にあるタッチセンサ39への検出、つまり、ユーザの耳のタッチセンサ39への接触や、顔の横部分のタッチセンサ39への接触を検出し、その接触を解析することで、レシーバ16と対面している耳が右耳か左耳かを検出することができる。このようにタッチセンサ39を用いる場合も同様の効果を得ることができる。
なお、上記実施形態では、ユーザの手間をより少なくすることができるため、自動的に使用耳を検出し、使用補正パラメータを設定するようにしたが、これには限定されない。右耳用補正パラメータを使用するか、左耳用補正パラメータを使用するかは、ユーザの操作によって切り替えるようにしてもよい。
また、携帯電子機器1は、補正パラメータ設定時の提示音の出力方法として種々の出力方法を用いることができる。例えば、予め設定してある音声を用いてもよいし、通話で使用した音声をサンプリングして用いてもよい。また、特定の通話相手に予め用意したテキスト情報を読み上げてもらい、そのテキスト情報と音声情報を取得し、ユーザが音声情報を聞きながら、聴こえた文字情報を入力するようにしても、補正パラメータを設定することができる。なお、提示音として、特定の対象の音声を用いることで、特定の対象の音声をより聞きやすくすることができ、特定の対象との通話をより円滑に行うことができる。
ここで、処理部22は、音声処理部30で実際に出力する周波数に対応して補正パラメータを設定することが好ましく、より好ましくは、電話通信で用いられる周波数に対応して補正パラメータを設定することが好ましい。このように、実際に使用する周波数に対して補正パラメータを設定することで、より携帯電子機器1から出力される音声をより聞きやすい音声にすることができる。ここで、補正パラメータを設定する周波数としては、例えば、CELP(符号励振線形予測符号化)方式、EVRC(可変レート音声コーデック)方式、AMR(適応型マルチレート)方式で用いられる周波数に対して設定することが好ましい。
なお、上記実施形態では、右耳用補正パラメータと左耳用補正パラメータを携帯電子機器1で設定したが、これに限定されない。右耳用補正パラメータと左耳用補正パラメータとは、他の電子機器で設定し、設定した右耳用補正パラメータと左耳用補正パラメータと携帯電子機器1に記憶させてもよい。なお、上記実施形態のように携帯電子機器1から発生させた音声に基づいて補正パラメータを設定することで、より使用時の条件に対応した補正パラメータができる。
また、本実施形態では、補正パラメータの設定処理、補正パラメータの選択処理を、処理部22で行ったが、本発明はこれに限定されない。携帯電子機器1は、各種演算処理を、送受信部26を介して通信可能なサーバで実行してもよい。つまり、演算処理自体は、外部で行っても良い。この場合、携帯電子機器1は、サーバへの識別情報の送信、サーバからの補正パラメータの受信等を行う。このように、サーバで演算を行ったり、補正パラメータを設定したりすることで、携帯電子機器にかかる負荷を少なくすることができる。また、通信を行うサーバで予め補正パラメータを設定し、サーバが補正パラメータに基づいて音声信号を補正するようにしてもよい。つまり、サーバと携帯電子機器とを1つのシステムとして、上述した処理を行うようにしてもよい。これにより、携帯電子機器1は、予め補正された音声信号を受け取ることができるため、補正処理自体を実行しないようにすることもできる。
ここで、図20は、携帯電子機器を備える通信システムの概略構成を示す模式図である。図20に示す通信システム(音声制御システム)201は、携帯電子機器1、1a、サーバ202、202aと、通信網203と、データベース204と、を有する。なお、通信システム201を構成する各部の数は、特に限定されず、各部ともに複数の装置を備えていてもよい。例えば、携帯電子機器1、1aは、1つのサーバ202、202aに対して複数設けられていてもよい。
サーバ202は、各通信装置を特定する情報(電話番号、アドレス)等の種々のデータを有し、通信網を介して携帯電子機器1と通信し、種々の情報を供給する。なお、サーバ202と携帯電子機器1は、基地局、中継局で形成され、無線で通信波を送受信する通信網により、通信を行う。また、通信網は、サーバ202と携帯電子機器1との間で通信を行うことができれば、種々の通信方法を用いることができる。例えば、衛星回線を利用して通信を行ってもよい。
また、サーバ202、202aは、携帯電子機器1から情報を受信し、その情報に基づいて、通信網203を介して、他の通信装置に情報を通信する、情報の中継も行う。つまり、サーバ202は、各通信装置から送られてくる情報を集約して記憶し、集約した情報を必要に応じて通信装置に供給(提供)する。なお、サーバ202aは、集約した情報を加工(処理)して通信装置に供給することもできる。
通信網203は、交換機や、有線・無線の通信回線で構成されている。通信網203は、有線、無線の通信回線を用いて通信装置と他の通信装置との間での情報通信を行う。具体的には、通信網203は、サーバ202とサーバ202aとの間での情報通信や、サーバ202、202aとデータベース204との間での情報通信を行う。なお、通信網203は、サーバ202と携帯電子機器1とを接続する通信網と同様の通信網でも、別の通信網でもよい。また、通信網203としてはインターネット通信網を用いることもできる。
データベース204は、記憶装置であり、補正パラメータ情報、識別情報を解析するための使用者の情報等、携帯電子機器1での処理に必要な種々のデータを記憶している。データベース204は、通信網203を介して、記憶している各種情報をサーバ202またはサーバ202aに供給する。
通信システム201は、以上のようなシステムにおいて、携帯電子機器1が取得した識別情報をサーバ202に送り、サーバ202が必要な情報をデータベース204から取得して使用する補正パラメータを決定し、決定した使用補正パラメータを携帯電子機器1に送り、携帯電子機器1で送られた使用補正パラメータを使用するようにしてもよい。これにより、携帯電子機器1は、取得した識別情報をサーバ202に出力し、サーバ202から供給された情報を使用することで、上記と同様の出力音の補正を行うことができる。これにより、携帯電子機器1での処理量、記憶量を低減することができる。また、サーバ202として共通するサーバを用いることで、他の通信機器で通信を行う場合でも、同様の補正処理を行うことができる。
また、サーバで行う処理と、携帯電子機器で行う処理とは、種々の分担とすることができる。例えば、補正パラメータに基づく、出力音の補正処理をサーバで行うようにしてもよい。これにより、携帯電子機器の処理をより低減することができる。なお、サーバで、携帯電子機器1と、他の通信機器との通話動作を中継する場合は、サーバから携帯電子機器に供給する音声を補正することで、この処理を行うことができる。
なお、上記実施形態では、右耳用補正パラメータと左耳用補正パラメータとを用いていずれの耳で音声を視聴する場合でも該当する補正パラメータで音声を補正する場合として説明したが、これに限定されない。携帯電子機器及び音声制御システムは、右耳用補正パラメータと左耳用補正パラメータのいずれか一方を設定するようにしてもよい。この場合も、聞いている耳に基づいて制御を切り換えることで、一方の耳で聞いているときは、音声を補正し、他方の耳で聞いているときは、音声を補正しないようにすることができる。これにより、一方の耳は聴こえにくく、他方の耳は健聴者と同様に聴こえる利用者も好適に利用することができる。