JP2012074913A - 携帯電子機器及び音声制御システム - Google Patents

携帯電子機器及び音声制御システム Download PDF

Info

Publication number
JP2012074913A
JP2012074913A JP2010217947A JP2010217947A JP2012074913A JP 2012074913 A JP2012074913 A JP 2012074913A JP 2010217947 A JP2010217947 A JP 2010217947A JP 2010217947 A JP2010217947 A JP 2010217947A JP 2012074913 A JP2012074913 A JP 2012074913A
Authority
JP
Japan
Prior art keywords
ear
sound
unit
correction parameter
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010217947A
Other languages
English (en)
Other versions
JP5582946B2 (ja
Inventor
Takayuki Fujiki
誉行 藤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2010217947A priority Critical patent/JP5582946B2/ja
Publication of JP2012074913A publication Critical patent/JP2012074913A/ja
Application granted granted Critical
Publication of JP5582946B2 publication Critical patent/JP5582946B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)

Abstract

【課題】出力する音声を適正に補正することができ、ユーザにより聞こえやすい音声を出力することができる携帯電子機器及び音声制御システムを提供すること。
【解決手段】筐体と、音発生部と、少なくとも右耳用の補正パラメータと左耳用の補正パラメータのどちらかを記憶する記憶部と、音発生部で発生させる音を、右耳を聞き耳として聞いているか、左耳を聞き耳として聞いているかを識別するための識別情報を取得する識別情報取得部と、識別情報取得部で取得した識別情報に基づいて、いずれの耳を聞き耳として聞いているかを検出し、検出した聞き耳に対応する補正パラメータを記憶部から読み出し、読み出した補正パラメータがあれば、当該補正パラメータを使用補正パラメータとして設定する処理部と、処理部により設定された使用補正パラメータに基づいて、音声信号を補正し、補正した音声信号を音発生部に供給する補正部と、を備えること。
【選択図】図3

Description

本発明は、音声を出力する携帯電子機器及び音声制御システムに関する。
携帯電話機、携帯テレビ等の携帯電子機器は、音声を出力する。ここで、携帯電子機器のユーザの中には、加齢等によって、聴力が低下し、出力される音声が聞こえにくいユーザがいる。
これに対して、例えば、特許文献1には、レシーバ等から出力される音声の周波数特性及びレベルを年齢による聴覚変化に合わせて補正する音声補正機能付き移動機が記載されている。
特開2000−209698号公報
ここで、聴力低下の要因は、加齢、病気、騒音曝露等様々であり、聴力低下の程度も千差万別である。そのため、特許文献1に記載されているように、レシーバ等から出力される音声の周波数特性及びレベルを年齢に合わせて補正するだけでは、ユーザにとって十分満足できる音声の補正をすることができない。
本発明は、出力する音声を適正に補正することができ、ユーザにより聞こえやすい音声を出力することができる携帯電子機器及び音声制御システムを提供することを目的とする。
本発明に係る携帯電子機器は、筐体と、前記筐体に設けられて、音声信号に基づいて音を発生する音発生部と、前記筐体に設けられて、少なくとも右耳用の補正パラメータと左耳用の補正パラメータのどちらかを記憶する記憶部と、前記筐体に設けられて、前記音発生部で発生させる音を、右耳を聞き耳として聞いているか、左耳を聞き耳として聞いているかを識別するための識別情報を取得する識別情報取得部と、前記識別情報取得部で取得した識別情報に基づいて、右耳を聞き耳として聞いているか、左耳を聞き耳として聞いているかを検出し、検出した聞き耳に対応する補正パラメータがあれば、当該補正パラメータを前記記憶部から読み出し、読み出した補正パラメータを使用補正パラメータとして設定する処理部と、前記処理部により設定された前記使用補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、を備えることを特徴とする。
ここで、前記記憶部は、利用者の利き耳の情報をさらに記憶しており、前記処理部は、前記聞き耳の検出前は、前記利き耳に対応する補正パラメータがあれば、当該補正パラメータを使用パラメータとして設定することが好ましい。
本発明に係る携帯電子機器は、筐体と、他の機器と通信を行う通信部と、前記筐体に設けられて、音声信号に基づいて音を発生する音発生部と、前記筐体に設けられて、前記音発生部で発生させる音を、右耳を聞き耳として聞いているか、左耳を聞き耳として聞いているかを識別するための識別情報を取得する識別情報取得部と、前記筐体に設けられて、前記通信部を介して他の機器に前記識別情報を送信し、前記他の機器から、検出した聞き耳に対応する、右耳用の補正パラメータまたは左耳用の補正パラメータを取得し、取得した補正パラメータを使用補正パラメータとして設定する処理部と、前記処理部により設定された前記使用補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、を備えることを特徴とする。
ここで、前記識別情報取得部は、前記筐体に作用する加速度を検出する加速度センサであり、前記処理部は、前記加速センサで検出した前記筐体の移動方向を前記識別情報として取得し、前記聞き耳を検出することが好ましい。
また、前記処理部は、前記加速センサで一定以上の加速度を検出したら、聞き耳の検出を行うことが好ましい。
また、前記識別情報取得部は、前記音発生部の近傍に配置され、前記音発生部に対面する領域の画像を取得するカメラであり、前記処理部は、前記カメラで検出した前記音発生部に対面する領域の画像を前記識別情報として取得し、前記聞き耳を検出することが好ましい。
また、前記識別情報取得部は、前記筐体に作用する加速度を検出する圧力センサであり、前記処理部は、前記圧力センサで検出した圧力に基づいて、前記筐体を把持している手を検出し、当該把持している手を前記識別情報として取得し、前記聞き耳を検出することが好ましい。
また、前記識別情報取得部は、前記筐体に照射されている光の分布を検出する光センサであり、前記処理部は、前記光センサで検出した光の分布に基づいて、前記筐体の向きを判定し、前記筐体の向きを前記識別情報として取得し、前記聞き耳を検出することが好ましい。
また、前記補正パラメータは、音声周波数毎に音の大きさを調整するパラメータであることが好ましい。
また、前記補正パラメータは、前記音発生部から発生させる音声が不快閾値と可聴閾値との間の大きさになるように補正するパラメータであることが好ましい。
本発明に係る音声制御システムは、音声信号に基づいて音を発生する音発生部と、前記音発生部で発生させる音を、右耳を聞き耳としているか、左耳を聞き耳としているかを識別するための識別情報を取得する識別情報取得部と、右耳用及び左耳用の一方或いは双方の補正パラメータを記憶する記憶部と、利用者が右耳或いは左耳を聞き耳としている場合に、前記利用者の聞き耳に対応する補正パラメータを前記憶部から読み出し、当該読み出した補正パラメータに基づいて前記音発生部から発生する音を補正させる制御を行う制御部と、前記制御部と他の各部との間にて、有線或いは無線にて、信号を送信或いは受信するための信号回路網と、を有し、少なくとも前記音発生部及び識別情報取得部は、使用者が携帯可能な筐体に設けられることを特徴とする。
ここで、音声制御システムは、前記記憶部あるいは前記制御部の一方或いは双方を、サーバに設けることが好ましい。
本発明は、個々のユーザの聴力に合わせて、出力する音声を適正に補正することができ、ユーザにより聞こえやすい音声を出力することができるという効果を奏する。
図1は、携帯電子機器の一実施形態の概略構成を示す正面図である。 図2は、図1に示す携帯電子機器の側面図である。 図3は、図1、図2に示す携帯電子機器の機能の概略構成を示すブロック図である。 図4は、人間の聴力の特性の例を示す図である。 図5は、難聴者の聴力の特性の例を示す図である。 図6は、可聴閾値及び不快閾値の例を示す図である。 図7は、図6に、母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。 図8は、図7の高音(子音)を単純に増幅した図である。 図9は、図8の大きい音に対して圧縮処理を行った図である。 図10は、携帯電子機器の動作の一例を説明するためのフロー図である。 図11は、携帯電子機器の動作を説明するための説明図である。 図12は、携帯電子機器の動作を説明するための説明図である。 図13は、携帯電子機器の動作を説明するための説明図である。 図14は、携帯電子機器の動作の一例を説明するためのフロー図である。 図15は、携帯電子機器の動作の一例を説明するためのフロー図である。 図16は、携帯電子機器の動作を説明するための説明図である。 図17は、携帯電子機器の動作を説明するための説明図である。 図18は、携帯電子機器の動作を説明するための説明図である。 図19は、携帯電子機器の動作を説明するための説明図である。 図20は、携帯電子機器を備える通信システムの概略構成を示す模式図である。
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、携帯電子機器の一例として携帯電話機を取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。また、携帯電子機器を含むシステムにおいても適用することができる。
図1は、実施形態に係る携帯電子機器の一実施形態の概略構成を示す正面図であり、図2は、図1に示す携帯電子機器の側面図である。図1、図2に示す携帯電子機器1は、無線通信機能と、出力手段と、音声取得手段とを有する携帯電話機である。携帯電子機器1は、筐体1Cが複数の筐体で構成される。具体的には、筐体1Cは、第1筐体1CAと第2筐体1CBとで開閉可能に構成される。すなわち、携帯電子機器1は、折り畳み式の筐体を有する。なお、携帯電子機器1の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器1の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、2軸ヒンジを介して両方の筐体を連結したものでもよい。
第1筐体1CAと第2筐体1CBとは、連結部であるヒンジ機構8で連結されている。ヒンジ機構8で第1筐体1CAと第2筐体1CBとを連結することにより、第1筐体1CA及び第2筐体1CBは、ヒンジ機構8を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向(図2の矢印Rで示す方向)に回動できるように構成される。第1筐体1CAと第2筐体1CBとが互いに遠ざかる方向に回動すると携帯電子機器1が開き、第1筐体1CAと第2筐体1CBとが互いに接近する方向に回動すると携帯電子機器1が閉じて、折り畳まれた状態となる(図2の点線で示す状態)。
第1筐体1CAには、表示部として、図1に示すディスプレイ2が設けられる。ディスプレイ2は、携帯電子機器1が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器1の操作を補助するために用いられるメニュー画像を表示したりする。また、ディスプレイ2の表面には、タッチセンサ39が配置されている。また、第1筐体1CAには、携帯電子機器1の通話時に音声を出力する出力手段であるレシーバ16が設けられる。また、第1筐体1CAのディスプレイ2が配置されている面と反対側の面には、長手方向における位置がレシーバ16の近傍で、短手方向の両端部に、それぞれ、光検出素子36aと光検出素子36bとが設けられている。また、第1筐体1CAのディスプレイ2が配置されている面のレシーバ16の近傍には、カメラ38が設けられている。
第2筐体1CBには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー13Aが複数設けられ、また、ディスプレイ2に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー13Bが設けられる。操作キー13A及び方向及び決定キー13Bは、携帯電子機器1の操作部13を構成する。また、第2筐体1CBには、携帯電子機器1の通話時に音声を受け取る音声取得手段であるマイク15が設けられる。操作部13は、図2に示す、第2筐体1CBの操作面1PCに設けられる。操作面1PCとは反対側の面が、携帯電子機器1の背面1PBである。また、第2筐体1CBの2つの側面(長手方向に平行な2つの側面)には、圧力センサ37を構成する圧力検出素子37a、37bがそれぞれ設けられている。
第2筐体1CBの内部には、アンテナが設けられている。アンテナは、無線通信に用いる送受信アンテナであり、携帯電子機器1と基地局との間で通話や電子メール等に係る電波(電磁波)の送受信に用いられる。また、第2筐体1CBには、マイク15が設けられる。マイク15は、図2に示す、携帯電子機器1の操作面1PC側に配置される。
ここで、本実施形態では、図1に示すように、第1筐体1CAのディスプレイ2に向かう方向で、レシーバ16側(矢印102の方向)を上方向とし、ヒンジ8(第2筐体1CB)側(矢印104の方向)を下方向とする。また、図1中左側(矢印106の方向)を右方向とし、図1中右側(矢印108の方向)を左方向とする。
図3は、図1、図2に示す携帯電子機器の機能の概略構成を示すブロック図である。図3に示すように、携帯電子機器1は、処理部22と、記憶部24と、送受信部26と、操作部13と、音声処理部30と、表示部32と、出力音補正部34と、加速度センサ35と、光センサ36と、圧力センサ37と、カメラ38と、タッチセンサ39と、を有する。処理部22は、携帯電子機器1の全体的な動作を統括的に制御する機能を有する。すなわち、処理部22は、携帯電子機器1の各種の処理が、操作部13の操作や携帯電子機器1の記憶部24に記憶されるソフトウェアに応じて適切な手順で実行されるように、送受信部26や、音声処理部30や、表示部32等の動作を制御する。
携帯電子機器1の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、送受信部26、音声処理部30、表示部32等の動作としては、例えば、送受信部26による信号の送受信、音声処理部30による音声の入出力、表示部32による画像の表示等がある。
処理部22は、記憶部24に記憶されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。処理部22は、例えば、マイクロプロセッサユニット(MPU:Micro Processing Unit)で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子機器1の各種の処理を実行する。すなわち、処理部22は、記憶部24に記憶されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
処理部22は、複数のアプリケーションプログラムを実行する機能を有する。処理部22が実行するアプリケーションプログラムとしては、例えば、各種の画像ファイル(画像情報)を記憶部24から読み出してデコードするアプリケーションプログラム、及びデコードして得られる画像を表示部32に表示させるアプリケーションプログラム等の複数のアプリケーションプログラムがある。
本実施形態において、処理部22は、出力音補正部34の補正パラメータを設定する補正パラメータ設定部22a、音声認識処理を行う音声解析部22b、音声のスペクトル分析を行うスペクトル分析部22c、所定の提示音(テスト音)を生成する提示音生成部22d、出力音補正機能を制御する補正機能制御部22eを有する。補正パラメータ設定部22a、音声解析部22b、スペクトル分析部22c、提示音生成部22d、補正機能制御部22eがそれぞれ有する機能は、処理部22及び記憶部24で構成されるハードウェア資源が、処理部22の制御部が割り当てるタスクを実行することにより実現される。ここで、タスクとは、アプリケーションソフトウェアが行っている処理全体、又は同じアプリケーションソフトウェアが行っている処理のうち、同時に実行できない処理単位である。なお、補正パラメータ設定部22a、音声解析部22b、スペクトル分析部22c及び提示音生成部22dの機能を、送受信部26を介して携帯電子機器1と通信可能なサーバで実行し、サーバが実行結果を携帯電子機器1に送信するようにしても良い。
記憶部24には、処理部22での処理に利用されるソフトウェアやデータが記憶されており、上述した、画像処理用プログラムを作動させるタスクが記憶されている。また、記憶部24には、これらのタスク以外にも、例えば、通信、ダウンロードされた音声データ、あるいは記憶部24に対する制御に処理部22が用いるソフトウェア、通信相手の電話番号やメールアドレス等が記述されて管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が記憶されている。
また、記憶部24は、さらに、使用者の利き耳の情報である利き耳情報24aと、右耳の聞こえに対応した補正パラメータが設定された右耳用補正パラメータ24bと、左耳の聞こえに対応した補正パラメータが設定された左耳用補正パラメータ24cが記憶されている。なお、利き耳情報24aは、ユーザにより設定される。また、右耳用補正パラメータ24bと左耳用補正パラメータ24cとは、補正パラメータ設定部22a、音声解析部22b、スペクトル分析部22c、提示音生成部22dを用いた、所定のパラメータ設定処理により設定される。
なお、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータは、処理部22によって記憶部24に割り当てられた作業領域へ一時的に記憶される。記憶部24は、例えば、不揮発性の記憶デバイス(ROM:Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等)や、読み書き可能な記憶デバイス(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。
送受信部26は、アンテナ26aを有し、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA(Code Division Multiple Access)方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。操作部13は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キー等、各種の機能が割り当てられた操作キー13Aと、方向及び決定キー13Bとで構成される。そして、これらのキーがユーザの操作により入力されると、その操作内容に対応する信号を発生させる。発生した信号は、ユーザの指示として処理部22へ入力される。
音声処理部30は、マイク15に入力される音声信号やレシーバ16やスピーカ17から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク15から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後、さらに符号化等の信号処理を施して、ディジタルの音声データに変換して処理部22へ出力する。また、処理部22から出力音補正部34を介して送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ16やスピーカ17へ出力する。ここで、スピーカ17は、携帯電子機器1の筐体1C内に配置されており、着信音やメールの送信音等を出力する。
表示部32は、上述したディスプレイ2を有しており、処理部22から供給される映像データに応じた映像や画像データに応じた画像を表示パネルに表示させる。ディスプレイ2は、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネルなどで構成された表示パネルで構成される。なお、表示部32は、ディスプレイ2に加え、サブディスプレイを有していてもよい。
出力音補正部34は、処理部22により設定される補正パラメータに基づいて、処理部22から送られる音声データに対して補正を行って音声処理部30に出力する。なお、出力音補正部34が行う補正は、入力される音声データに対して、補正パラメータに基づいて、音の大きさ及び周波数に応じて異なるゲインで増幅する補正である。また、出力音補正部34は、ハードウェア回路で実現しても良いし、CPUとプログラムで実現しても良い。出力音補正部34をCPUとプログラムで実現する場合、出力音補正部34を処理部22内で実現するようにしても良い。また、出力音補正部34の機能を、送受信部26を介して通信可能なサーバで実行し、サーバが補正処理後の音声データを携帯電子機器1に送信するようにしても良い。
加速度センサ35は、筐体1Cに加わる加速度を検出する検出器である。加速度センサ35として、種々の方法で加速度を検出する検出器を用いることができ、例えば、静電容量の変化や、ピエゾ抵抗の変化、相対位置の変化等で加速度を検出する検出器を用いることができる。加速度センサ35は、操作者が筐体1Cを振ったり、移動させたりする際に、筐体1Cに作用する加速度を検出する。
光センサ36は、入射する光の強度を算出する検出器であり、光検出素子36a及び光検出素子36bで構成されている。なお、光センサ36は、光検出素子36a及び光検出素子36bがそれぞれの位置における光の強度を算出する。光検出素子36a及び光検出素子36bとしては、フォトダイオード等を用い受光した光を電圧に変換し、変換した電圧値により光の強度を検出する検出器や、光の強度により抵抗が変化するフォトレジスタや光依存性抵抗(LDR)を用いて光の強度を検出する検出器や、受光すると発電する太陽電池等を用いて、発電量から光の強度を検出する検出器等を用いることができる。
圧力センサ37は、圧力を検出するセンサであり、圧力検出素子37a及び圧力検出素子37bで構成される。圧力検出素子37a及び圧力検出素子37bは、上述したように第2筐体1CBの側面の互いに対向する位置に設けられている。圧力センサ37は、圧力検出素子37a及び37bが設けられている面に直交する方向、つまり、圧力検出素子37aと圧力検出素子37bとを近づける方向に加えられた圧力を検出値として検出する。なお、圧力検出素子37a及び圧力検出素子37bは、それぞれの素子で圧力を検出する。ここで、圧力検出素子としては、例えば、半導体ダイヤフラム型、静電容量型、弾性体ダイヤフラム型、圧電型、振動型等種々の方式の圧力検出素子を用いることができる。
カメラ38は、第1筐体1CAの上面に設けられ、ディスプレイ2に対面する領域の画像を取得する撮像機構である。
タッチセンサ39は、接触を検出するセンサであり、ディスプレイ2の表面(画像を表示させる面)に配置される。タッチセンサ39は、表面への接触を検出することができる。携帯電子機器1は、ディスプレイ2に文字、図形、画像等を表示するとともに、指、スタイラス、ペン等を用いてタッチセンサ39に対して行われる各種動作を検出することで、ユーザの操作を検出することができる。つまり、携帯電子機器1は、タッチセンサ39と、ディスプレイ2によりタッチパネル操作部の機能を実行することができる。タッチセンサ39としては、静電容量方式、表面弾性波方式、抵抗膜方式などの各種方式が用いられたタッチセンサ39(または、タッチセンサ39とディスプレイ2を組み合わせたタッチパネル)を用いることができる。
ここで、人間の聴覚について図4から図9を参照して説明する。図4は、人間の耳に入る音の大きさと人間が聴こえる(感じる)音の大きさとの関係を示すグラフである。健聴者の場合、耳に入る音の大きさと聴こえる音の大きさとは比例関係にある。一方、難聴者(高齢者、耳の病気を有する者等)の場合、一般的なイメージとしては、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると耳に入る音に比例して音が聴こえるようになる。つまり、一般的なイメージの人は、耳に入る音を単純に増幅してやれば良いと考えられている。しかし、実際には、難聴者は、耳に入る音の大きさが或る値になるまでは殆ど聴こえず、耳に入る音の大きさが或る値以上になると急激に大きな音として聴こえるようになる。これにより、難聴者は、例えば、10dBの変化を20dBの変化に聴きとってしまう。そのため、大きい音に対して圧縮処理(大きい音に対するゲインを小さい音に対するゲインよりも小さくする処理)を行う必要がある。また、図5は、難聴者の聴力の周波数特性を示すグラフである。図5に示すように、難聴者は、低い音は良く聴こえるが、高い音ほど聴こえ難いことがわかる。なお、図5に示す特性は、一例であり、利用者によって聞こえる周波数特性は異なる。
図6は、健聴者、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係の一例を示す図である。なお、可聴閾値とは、適正に音が聴こえる下限の音の大きさであり、例えば、40dBで聴こえる音である。可聴閾値よりも小さい大きさの音は、小さくて聴こえにくい音になる。また、不快閾値とは、適正に音が聴こえる上限の音の大きさであり、例えば、90dBで聴こえる音である。不快閾値よりも大きい音は、音が大きくて不快に感じる音である。図6に示すように、難聴者は、可聴閾値42と不快閾値44とが共に、周波数が高くなるほど大きくなっている。なお、これに対して、健聴者は、可聴閾値46及び不快閾値48がともに、出力される音の大きさに対して一定となる。
次に、図7は、難聴者の出力される音の大きさと可聴閾値及び不快閾値との関係に、調整しないで出力される母音、有声子音及び無声子音の大きさ及び周波数を重ねて示した図である。図7に示すように、調整しないで出力される、つまり、健聴者の使用状態と同じ状態で出力させる母音は、範囲50で囲まれる周波数と音の大きさとの範囲の音で出力される。同様に、有声子音は、範囲52で囲まれる周波数と音の大きさとの範囲の音で出力され、無声子音は、範囲54で囲まれる周波数と音の大きさとの範囲の音で出力される。ここで、図7に示すように、難聴者の音が聞こえる範囲、可聴閾値42と不快閾値44の間には、母音の範囲50と、有声子音の範囲52の一部とが入るが、有声子音の範囲52の一部と、無声子音の範囲54の全部が入らない。このため、難聴者は、健聴者と同様の出力で音声を出力させると、母音は聴こえるが、子音(有声子音、無声子音)は殆ど聴こえないことがわかる。具体的には、有声子音は、一部聞こえるが、無声子音は、ほとんど聞こえない。
図8は、図7の高音(子音)を単純に増幅した図である。図8に示す母音の範囲50aは、図7に示す母音の範囲50と同様の範囲としている。また、有声子音の範囲52aは、図7に示す有声子音の範囲52よりも全体的に音の大きさが大きくなる方向、つまり範囲が図8中上方向に移動するように設定している。無声子音の範囲54aも、図7に示す無声子音の範囲54よりも全体的に音の大きさが大きくなる方向、つまり範囲が図8中上方向に移動するように設定している。図8に示すように、聞こえにくい周波数領域の音声、つまり、有声子音の範囲52aと、無声子音の範囲54aを単純に増幅すると、音の大きさが大きい範囲が不快閾値44を超えてしまい、高音が耳にキンキン響いてしまう。即ち、音がひずんで聞こえてしまい、言葉が明りょうに聞こえなくなる。
これに対して、図9は、本実施形態の携帯電子機器1の出力音補正部34により、音声を補正、具体的には、図8の大きい音に対して圧縮処理(大きい音に対するゲインを小さい音に対するゲインより小さくする処理)を行った図である。図9に示す母音の範囲50bは、図8に示す母音の範囲50aよりも大きい音に対するゲインを小さくしている。また、有声子音の範囲52bは、図8に示す有声子音の範囲52aよりも大きい音に対するゲインを小さくしている。また、無声子音の範囲54bも、図8に示す無声子音の範囲54aよりも大きい音に対するゲインを小さくしている。図9に示すように、小さい音は大きなゲインで増幅し、大きい音は小さいゲインで増幅することで、母音の範囲50b、有声子音の範囲52b及び無声子音の範囲54bを快適な音の大きさ(可聴閾値42と不快閾値44との間の大きさ)に含まれるようにすることができる。携帯電子機器1は、以上の事柄を考慮して、入力される音声データに対する補正パラメータを決定する。なお、補正パラメータは、入力される音声が、可聴閾値42と不快閾値44との間の大きさの音声としてユーザに聞こえるように補正を行うパラメータである。携帯電子機器1は、出力音補正部34により、決定した補正パラメータを用いて音の大きさ及び周波数に応じたゲインで増幅する補正を行い、音声処理部30に出力する。これにより、携帯電子機器1は、耳が聞こえにくいユーザでも、好適に音声を聞くことが可能となる。
次に、携帯電子機器の補正パラメータ設定動作を説明する。携帯電子機器1は、補正パラメータの設定機能が起動されたら、補正パラメータ設定部22aにより補正パラメータの設定処理を行う。まず、提示音生成部22dで提示音を生成し、レシーバ16またはスピーカ17から出力する。ここで、本実施形態において、提示音とは、補正パラメータの設定時にユーザが聞き取る対象の音声であり、単語、文章である。なお、提示音としては、聞き間違いが発生しやすい単語、文章を用いることが好ましい。なお、提示音としては、例えば、「安全」や「完全」や「断然」を用いることができる。「安全」と「完全」と「断然」とは、互いに聞き間違いしやすい音声である。また、提示音としては、「売り上げ」や「おみやげ」や「もみあげ」も用いることができる。また、このほかにも、「環境」や「反響」や「探求」も用いることができる。なお、以下では、提示音として「いなか(田舎)」を出力した場合として説明する。また、提示音は、不快閾値と可聴閾値とを設定できるように、設定された不快閾値ぎりぎりの音(例えば、不快閾値よりわずかに小さい音)や設定された可聴閾値ぎりぎりの音(例えば、可聴閾値よりわずかに大きい音)を用いることが好ましい。
携帯電子機器1は、提示音を出力したら、聞き取った音を入力する画面を表示させる。携帯電子機器1は、画面を表示させている状態で、操作部13が操作され、文字が入力されたら、入力された文字を表示させる。また、携帯電子機器1は、提示音の文字と、入力された文字とが一致したか否かをユーザに通知する画面を表示させる。携帯電子機器1は、以上のようにして、ディスプレイ2に画面を表示させつつ、提示音を出力し、制御を行うことで、補正パラメータの調整を周波数域毎、各母音、各有声子音、各無声子音で行う。携帯電子機器1は、以上のようにして、周波数毎に補正パラメータを設定する。
なお、補正パラメータ設定部22aによる補正パラメータの設定方法は、これに限定されない。例えば、通話時の通話音声をスペクトル分析部22cにより解析し、そのスペクトル分析部22cの解析結果に対するユーザの感想(例えば、聞こえにくい、キンキン聞こえる)に基づいて、補正パラメータを設定してもよい。なお、ユーザの感想の入力方法は、項目の選択、文字入力、音声入力等種々の入力方法がある。また、サンプルの音声は、提示音生成部22dから出力させてもよい。
また、携帯電子機器1は、利用者が出力した音声を右耳で聞く状態で、上記補正パラメータの設定を行い、右耳用補正パラメータを設定し、記憶部24に記憶させる。携帯電子機器1は、さらに、出力した音声を左耳のみで聞く状態で、上記補正パラメータの設定を行い、左耳用補正パラメータを設定し、記憶部24に記憶させる。
次に、図10から図14を用いて携帯電子機器1の音声出力時の処理の一例について説明する。ここで、図10は、携帯電子機器の動作の一例を説明するためのフロー図である。また、図11から図13は、それぞれ携帯電子機器の動作を説明するための説明図である。また、図14は、携帯電子機器の動作の一例を説明するためのフロー図である。なお、図10及び図14に示す処理動作は、基本的に処理部22が補正機能制御部22eを機能させることで実行される。また、図10に示す処理は、通話時等、レシーバ16、スピーカ17から音声を出力する処理の実行時に行われる。また、図10に示す処理は、加速度センサ35で使用状態を識別するための識別情報を取得し、その取得情報に基づいて、使用する補正パラメータを設定する処理である。
携帯電子機器1の処理部22は、ステップS12としてスタート処理済みフラグがONであるかを判定する。ここで、スタート処理済みフラグとは、音声を出力する処理の開始時に実行される処理、例えば、電話の呼び出しや、通話ボタンの押下等が実行されたかを示すフラグである。処理部22は、ステップS12でスタート処理済みフラグがONではない(No)、つまり、スタート処理済みフラグがOFFであると判定したら、ステップS14として、使用耳データに利き耳情報をセットする。つまり、処理部22は、記憶部24の利き耳情報24aに記憶されている情報を読み出し、読み出した耳の情報を使用耳(音声を聞くために使用している耳)として設定する。処理部22は、ステップS14で使用耳データをセットしたら、ステップS16としてスタート処理済みフラグをONにした後、ステップS32に進む。
また、処理部22は、ステップS12でスタート処理済みフラグがONである(Yes)と判定したら、ステップS20として、左右方向どちらかに閾値ThH以上の加速度を検出したかを判定する。なお、閾値ThHは、予め設定された値であり、筐体1Cが移動したと判定できる加速度である。処理部22は、ステップS20で左右方向どちらにも閾値ThH以上の加速度を検出していない(No)と判定したら、ステップS32に進む。
また、処理部22は、ステップS20で左右方向どちらかに閾値ThH以上の加速度を検出した(Yes)と判定したら、ステップS22に進む。つまり、処理部22は、矢印106の方向、または、矢印108の方向へのどちらかに閾値ThH以上の加速度を検出したら、ステップS22に進む。例えば、図12に示すように、ユーザが携帯電子機器1を台に置いた状態から、自身の顔に近づける動作、具体的には矢印120に示す軌道(携帯電子機器1にとって左方向(矢印108方向)側)で右耳に移動させる動作、または、矢印122に示す軌道(携帯電子機器1にとって右方向(矢印106方向)側)で左耳に移動させる動作を行ったら、処理部22が、その移動により生じる加速度を検出して携帯電子機器1が移動したと判定し、ステップS22に進む。
次に、処理部22は、ステップS20でYesと判定したら、ステップS22として、左右方向の加速度が閾値ThL以下に安定したかを判定する。ここで、閾値ThLは、予め設定された値であり、筐体1Cが移動していないと判定できる加速度である。閾値ThLは、手ぶれ等で生じる程度の加速度よりは高い値である。なお、処理部22は、加速度が閾値ThL以下である状態が所定時間の間継続したら、安定していると判定する。処理部22は、ステップS22で、左右方向の加速度が閾値ThL以下に安定していない(No)と判定したら、ステップS22に進む。つまり、処理部22は、ステップS20で左右方向どちらかに閾値ThH以上の加速度を検出したら、左右方向の加速度が閾値ThL以下に安定するまで、ステップS22の処理を繰り返す。
処理部22は、ステップS22で、左右方向の加速度が閾値ThL以下に安定した(Yes)と判定したら、ステップS24として、傾き方向を判定する。なお、処理部22は、加速度センサ35で検出する加速度により鉛直方向を検出し、その鉛直方向と携帯電子機器1の向きとの相対関係から携帯電子機器1の向きを検出することができる。処理部22は、ステップS24で傾き方向がなしと判定したら、ステップS26に進み、傾き方向が右であると判定したら、ステップS28に進み、傾き方向が左であると判定したら、ステップS30に進む。
処理部22は、ステップS24で傾き方向なし、つまり、筐体1Cが右方向(矢印106方向)にも左方向(矢印108方向)にも傾いていないと判定したら、ステップS26として、閾値ThH以上の加速度方向が右であるかを判定する。つまり、ステップS20で加速度を検出した方向が右方向(矢印106方向)であるかを判定する。処理部22は、ステップS26で検出方向が右方向である(Yes)と判定したら、ステップS28に進む。また、処理部22は、ステップS26で検出方向が右方向ではない(No)と判定したら、つまり、ステップS20で加速度を検出した方向が左方向(矢印108方向)であると判定したら、ステップS30に進む。
処理部22は、ステップS24で傾き方向が右方向である、つまり、図12に示すように、携帯電子機器1が右方向に傾いている場合、また、ステップS26で検出方向が右方向であると判定したら、携帯電子機器1のレシーバを左耳に当てていると判定し、ステップS28として、使用耳データに左耳をセットする。処理部22は、ステップS28で左耳を使用耳データに設定したら、ステップS32に進む。
また、処理部22は、ステップS24で傾き方向が左方向である、つまり、図13に示すように、携帯電子機器1が左方向に傾いている場合、また、ステップS26で検出方向が左方向であると判定したら、携帯電子機器1のレシーバを右耳に当てていると判定し、ステップS30として、使用耳データに右耳をセットする。処理部22は、ステップS30で右耳を使用耳データに設定したら、ステップS32に進む。
処理部22は、ステップS16、ステップS28、ステップS30の処理を終了したら、または、ステップS20でNoと判定したら、ステップS32として、処理終了トリガーが発生しているかを判定する。ここで、処理終了トリガーとは、出力音補正部34による音声補正処理を終了する指示を示すフラグであり、例えば、音声通話の終了時や、出力音の補正機能の停止指示が入力されると発生させる。
処理部22は、ステップS32で処理終了トリガーが発生していない(No)、つまり、処理終了トリガーがないと判定したら、ステップS12に進み、上述した、ステップS12からステップS32の処理を繰り返す。
処理部22は、ステップS32で処理終了トリガーが発生している(Yes)と判定したら、ステップS34として、スタート処理済みフラグをOFFにして、本処理を終了する。
次に、携帯電子機器1の処理部22は、図10を用いて設定した使用耳データに基づいて、音声信号の補正を行いつつ、音声を出力する。以下、図14を用いて説明する。まず、処理部22は、ステップS40として、使用耳データを検出する。処理部22は、ステップS40で使用耳データが右耳であると判定したら、ステップS42として、右耳用補正パラメータで、音声信号を補正する。つまり、処理部22は、使用耳データが、右耳である場合は、右耳用補正パラメータ24bを使用する補正パラメータ(使用補正パラメータ)として設定する。そして、出力音補正部34は、設定されている使用補正パラメータにより、音声信号を補正し、音声処理部30から出力させる。
処理部22は、ステップS40で使用耳データが左耳であると判定したら、ステップS44として、左耳用補正パラメータで、音声信号を補正する。つまり、処理部22は、使用耳データが、左耳である場合は、左耳用補正パラメータ24cを使用する補正パラメータ(使用補正パラメータ)として設定する。そして、出力音補正部34は、設定されている使用補正パラメータにより、音声信号を補正し、音声処理部30から出力させる。処理部22は、ステップS42、ステップS44の処理を終了したら、本処理を終了する。なお、処理部22は、音声を出力されている処理が終了するまで、図14の処理を繰り返し、実行する。なお、処理部22は、使用耳が再設定されるまで、ステップS42、44の処理を行い、使用耳データが更新されたら、ステップS40の処理を行うようにしてもよい。
携帯電子機器1は、音声信号が入力されたら、出力音補正部34が、設定した補正パラメータに基づいて、音声信号を補正し音声処理部30に出力する。これにより、携帯電子機器1は、ユーザの聴こえ(音声の聞こえ方、聴覚の特性)に合わせて設定した補正パラメータによって音声信号を補正することができ、ユーザにより聞こえやすい音声を出力することができる。
さらに、処理部22は、右耳用補正パラメータと、左耳用補正パラメータを設け、どちらの耳で音を聞いているかによって、使用する補正パラメータを切り替えることで、ユーザにより聞こえやすい音声を出力することができる。つまり、ユーザ毎の聴こえ(音声の聞こえ方、聴覚の特性)に加え、ユーザの左右の聴こえに適応した音声に補正することができる。また、ユーザが左右のいずれの耳で音声を聞いているかを自動的に検出することで、ユーザが操作を入力することなく、使用に応じた補正パラメータを設定することができる。
また、利き耳情報を設定し、初期設定では、聞き耳情報に基づいて、使用耳を設定することで、使用している耳を検出していない状態では、使用されている可能性が高い耳に対する補正パラメータを設定することができる。
また、加速度センサ35の検出結果により、携帯電子機器1の向きを判定することで、効率よく使用耳の情報を検出することができる。さらに、携帯電子機器1の移動の加速度に基づいて使用耳の情報を検出することでも使用耳を検出することができる。また、携帯電子機器1の移動を検出したら、使用耳の情報を更新する処理を行うことで、使用耳の変更を的確に検出することができる。
また、処理部22は、提示音を、母音と有声子音と無声子音とに別け解析を行い、それぞれに対応する周波数毎に補正パラメータを設定することで、より聴こえやすい音声を出力することができる。
また、本実施形態のように加速度センサ35により筐体1Cの移動方向を検出する場合は、通話ボタンが押下されてからの移動方向に基づいて、使用耳データを設定することが好ましい。ここで、通話ボタンの押下は、ユーザが目視でボタンの位置を確認しながら実行され、その後通話のために、筐体1Cを視界の外の左右のいずれかの耳に移動させる操作を行う。このため、通話ボタン押下後は、使用耳側への筐体の移動が高確率で発生するため、使用耳をより的確に判定することができる。
ここで、上記実施形態では、音声を聞いている聞き耳の情報を加速度センサ35で取得した情報に基づいて検出したが、これには限定されない。携帯電子機器1は、聞き耳を検出するための情報、つまり識別情報として、種々の情報を用いることができ、識別情報を検出する識別情報検出部も加速度センサ以外の種々の検出部を用いることができる。
次に、図15から図17を用いて携帯電子機器1の音声出力時の処理の他の例について説明する。ここで、図15は、携帯電子機器の動作の一例を説明するためのフロー図である。また、図16及び図17は、それぞれ携帯電子機器の動作を説明するための説明図である。また、図15に示す処理は、光センサ36で使用状態を識別するための識別情報を取得し、その取得情報に基づいて、使用する補正パラメータを設定する処理である。
携帯電子機器1の処理部22は、ステップS12としてスタート処理済みフラグがONであるかを判定する。処理部22は、ステップS12でスタート処理済みフラグがONではない(No)、つまり、スタート処理済みフラグがOFFであると判定したら、ステップS14として、使用耳データに利き耳情報をセットする。なお、ステップS14の処理とステップS16の処理は、上述の図10の処理と同様であるので説明を省略する。
また、処理部22は、ステップS12でスタート処理済みフラグがONである(Yes)と判定したら、ステップS80として、明暗変化があるかを判定する。なお、明暗変化とは、光検出素子36aと、光検出素子36bとで、検出する光量(光強度)のバランスが変化したか、つまり、より高い光量を検出する素子が切り替わったかを判定する。処理部22は、ステップS80で明暗変化がない(No)と判定したら、ステップS32に進む。
また、処理部22は、ステップS80で明暗変化がある(Yes)と判定したら、ステップS82に進む。次に、処理部22は、ステップS82として、左側が右側より明るいかを判定する。つまり、携帯電子機器1の右側、つまり、図1中矢印106側に配置された光検出素子36bで検出した光量と、処理部22は、携帯電子機器1の左側、つまり、図1中矢印108側に配置された光検出素子36aで検出した光量と、を比較し、左側が右側より明るいかを判定する。つまり、処理部22は、光検出素子36aで検出した光量が、光検出素子36bで検出した光量よりも高いかを判定する。
処理部22は、ステップS82で、左側が右側より明るい(Yes)、つまり、光検出素子36aで検出した光量が、光検出素子36bで検出した光量よりも高いと判定したら、携帯電子機器1のレシーバを左耳に当てていると判定し、ステップS84として、使用耳データに左耳をセットする。処理部22は、ステップS84で左耳を使用耳データに設定したら、ステップS32に進む。つまり、左側が右側より明るい場合は、図16に示すように、光検出素子36aがより上側でより多くの光を受ける携帯電子機器1が左耳に当てられた姿勢であると判定する。
処理部22は、ステップS82で、左側が右側より明るくない(No)、つまり、右側の明るさが左側以上である、すなわち、光検出素子36aで検出した光量が、光検出素子36bで検出した光量以下である判定したら、携帯電子機器1のレシーバを右耳に当てていると判定し、ステップS86として、使用耳データに右耳をセットする。処理部22は、ステップS86で右耳を使用耳データに設定したら、ステップS32に進む。つまり、右側が左側以上に明るい場合は、図17に示すように、光検出素子36bがより上側でより多くの光を受ける携帯電子機器が右耳に当てられた姿勢であると判定する。
処理部22は、ステップS16、ステップS84、ステップS86の処理を終了したら、または、ステップS80でNoと判定したら、ステップS32として、処理終了トリガーが発生しているかを判定する。ここで、処理終了トリガーとは、出力音補正部34による音声補正処理を終了する指示を示すフラグであり、例えば、音声通話の終了時や、出力音の補正機能の停止指示が入力されると発生させる。
処理部22は、ステップS32で処理終了トリガーが発生していない(No)、つまり、処理終了トリガーがないと判定したら、ステップS12に進み、上述した、ステップS12からステップS32の処理を繰り返す。
処理部22は、ステップS32で処理終了トリガーが発生している(Yes)と判定したら、ステップS34として、スタート処理済みフラグをOFFにして、本処理を終了する。
このように、加速度センサ35に代えて、あるいは加えて、光センサ36の検出結果に基づいて使用耳データを検出、設定するようにしても上記と同様の効果を得ることができる。
ここで、光センサ36を用いて、使用耳を判定する場合は、加速度センサ35により筐体1Cの姿勢を検出し、検出した姿勢に基づいて、光量のバランスの設定を調整することが好ましい。これにより、ユーザが立っている状態で携帯電子機器1を使用している場合、寝ている状態で携帯電子機器1を使用している場合等に合わせて、適切な判定基準を設定することができる。
また、識別情報取得部としては、圧力センサを用いることもできる。ここで、図18及び図19は、それぞれ携帯電子機器の動作を説明するための説明図である。圧力センサ37の圧力検出素子37a、37bは、音声出力時にユーザが筐体を握る際に作用する圧力を検出する。圧力センサ37は、筐体の右側の側面と、左側の側面に左右する圧力の差を圧力検出素子37a、37bで検出することができる。つまり、筐体を右手で把持する場合と、左手で把持する場合とで、親指が接触する辺が逆になる。このため、処理部22は、圧力の差に基づいて、筐体1Cを把持する手を検出することができ、検出した手が右手であるか左手であるかで、使用耳を検出することができる。具体的には、図18に示すように、右手で筐体1を把持している場合は、親指が圧力検出素子37a側となる。処理部22は、圧力センサ37の検出値に基づいて、右手で把持していることを検出し、その結果に基づいて、使用耳が右耳であることを検出することができる。また、図19に示すように、左手で筐体1C(第2筐体1CB)を把持している場合は、親指が圧力検出素子37b側となる。処理部22は、圧力センサ37の検出値に基づいて、左手で把持していることを検出し、その結果に基づいて、使用耳が左耳であることを検出することができる。携帯電子機器1は、このように、圧力センサ37の検出結果に基づいても使用耳を検出することができる。
また、これ以外にも識別情報取得部として、カメラ38を用い、カメラ38で使用時のレシーバ16と対面する領域の画像を取得し、その結果に基づいて、使用耳を判定することもできる。つまり、カメラ38によりユーザの横顔や、耳の画像を撮影し、その画像を解析することで、顔の向きや、レシーバ16と対面している耳が右耳か左耳かを検出することができる。このようにカメラ38を用いる場合も同様の効果を得ることができる。
さらに、識別情報取得部として、タッチセンサ39を用い、音声出力時にタッチセンサ39で検出する接触に基づいて、使用耳を判定することもできる。つまり、タッチセンサ39により音声出力時にレシーバ16の近傍にあるタッチセンサ39への検出、つまり、ユーザの耳のタッチセンサ39への接触や、顔の横部分のタッチセンサ39への接触を検出し、その接触を解析することで、レシーバ16と対面している耳が右耳か左耳かを検出することができる。このようにタッチセンサ39を用いる場合も同様の効果を得ることができる。
なお、上記実施形態では、ユーザの手間をより少なくすることができるため、自動的に使用耳を検出し、使用補正パラメータを設定するようにしたが、これには限定されない。右耳用補正パラメータを使用するか、左耳用補正パラメータを使用するかは、ユーザの操作によって切り替えるようにしてもよい。
また、携帯電子機器1は、補正パラメータ設定時の提示音の出力方法として種々の出力方法を用いることができる。例えば、予め設定してある音声を用いてもよいし、通話で使用した音声をサンプリングして用いてもよい。また、特定の通話相手に予め用意したテキスト情報を読み上げてもらい、そのテキスト情報と音声情報を取得し、ユーザが音声情報を聞きながら、聴こえた文字情報を入力するようにしても、補正パラメータを設定することができる。なお、提示音として、特定の対象の音声を用いることで、特定の対象の音声をより聞きやすくすることができ、特定の対象との通話をより円滑に行うことができる。
ここで、処理部22は、音声処理部30で実際に出力する周波数に対応して補正パラメータを設定することが好ましく、より好ましくは、電話通信で用いられる周波数に対応して補正パラメータを設定することが好ましい。このように、実際に使用する周波数に対して補正パラメータを設定することで、より携帯電子機器1から出力される音声をより聞きやすい音声にすることができる。ここで、補正パラメータを設定する周波数としては、例えば、CELP(符号励振線形予測符号化)方式、EVRC(可変レート音声コーデック)方式、AMR(適応型マルチレート)方式で用いられる周波数に対して設定することが好ましい。
なお、上記実施形態では、右耳用補正パラメータと左耳用補正パラメータを携帯電子機器1で設定したが、これに限定されない。右耳用補正パラメータと左耳用補正パラメータとは、他の電子機器で設定し、設定した右耳用補正パラメータと左耳用補正パラメータと携帯電子機器1に記憶させてもよい。なお、上記実施形態のように携帯電子機器1から発生させた音声に基づいて補正パラメータを設定することで、より使用時の条件に対応した補正パラメータができる。
また、本実施形態では、補正パラメータの設定処理、補正パラメータの選択処理を、処理部22で行ったが、本発明はこれに限定されない。携帯電子機器1は、各種演算処理を、送受信部26を介して通信可能なサーバで実行してもよい。つまり、演算処理自体は、外部で行っても良い。この場合、携帯電子機器1は、サーバへの識別情報の送信、サーバからの補正パラメータの受信等を行う。このように、サーバで演算を行ったり、補正パラメータを設定したりすることで、携帯電子機器にかかる負荷を少なくすることができる。また、通信を行うサーバで予め補正パラメータを設定し、サーバが補正パラメータに基づいて音声信号を補正するようにしてもよい。つまり、サーバと携帯電子機器とを1つのシステムとして、上述した処理を行うようにしてもよい。これにより、携帯電子機器1は、予め補正された音声信号を受け取ることができるため、補正処理自体を実行しないようにすることもできる。
ここで、図20は、携帯電子機器を備える通信システムの概略構成を示す模式図である。図20に示す通信システム(音声制御システム)201は、携帯電子機器1、1a、サーバ202、202aと、通信網203と、データベース204と、を有する。なお、通信システム201を構成する各部の数は、特に限定されず、各部ともに複数の装置を備えていてもよい。例えば、携帯電子機器1、1aは、1つのサーバ202、202aに対して複数設けられていてもよい。
サーバ202は、各通信装置を特定する情報(電話番号、アドレス)等の種々のデータを有し、通信網を介して携帯電子機器1と通信し、種々の情報を供給する。なお、サーバ202と携帯電子機器1は、基地局、中継局で形成され、無線で通信波を送受信する通信網により、通信を行う。また、通信網は、サーバ202と携帯電子機器1との間で通信を行うことができれば、種々の通信方法を用いることができる。例えば、衛星回線を利用して通信を行ってもよい。
また、サーバ202、202aは、携帯電子機器1から情報を受信し、その情報に基づいて、通信網203を介して、他の通信装置に情報を通信する、情報の中継も行う。つまり、サーバ202は、各通信装置から送られてくる情報を集約して記憶し、集約した情報を必要に応じて通信装置に供給(提供)する。なお、サーバ202aは、集約した情報を加工(処理)して通信装置に供給することもできる。
通信網203は、交換機や、有線・無線の通信回線で構成されている。通信網203は、有線、無線の通信回線を用いて通信装置と他の通信装置との間での情報通信を行う。具体的には、通信網203は、サーバ202とサーバ202aとの間での情報通信や、サーバ202、202aとデータベース204との間での情報通信を行う。なお、通信網203は、サーバ202と携帯電子機器1とを接続する通信網と同様の通信網でも、別の通信網でもよい。また、通信網203としてはインターネット通信網を用いることもできる。
データベース204は、記憶装置であり、補正パラメータ情報、識別情報を解析するための使用者の情報等、携帯電子機器1での処理に必要な種々のデータを記憶している。データベース204は、通信網203を介して、記憶している各種情報をサーバ202またはサーバ202aに供給する。
通信システム201は、以上のようなシステムにおいて、携帯電子機器1が取得した識別情報をサーバ202に送り、サーバ202が必要な情報をデータベース204から取得して使用する補正パラメータを決定し、決定した使用補正パラメータを携帯電子機器1に送り、携帯電子機器1で送られた使用補正パラメータを使用するようにしてもよい。これにより、携帯電子機器1は、取得した識別情報をサーバ202に出力し、サーバ202から供給された情報を使用することで、上記と同様の出力音の補正を行うことができる。これにより、携帯電子機器1での処理量、記憶量を低減することができる。また、サーバ202として共通するサーバを用いることで、他の通信機器で通信を行う場合でも、同様の補正処理を行うことができる。
また、サーバで行う処理と、携帯電子機器で行う処理とは、種々の分担とすることができる。例えば、補正パラメータに基づく、出力音の補正処理をサーバで行うようにしてもよい。これにより、携帯電子機器の処理をより低減することができる。なお、サーバで、携帯電子機器1と、他の通信機器との通話動作を中継する場合は、サーバから携帯電子機器に供給する音声を補正することで、この処理を行うことができる。
なお、上記実施形態では、右耳用補正パラメータと左耳用補正パラメータとを用いていずれの耳で音声を視聴する場合でも該当する補正パラメータで音声を補正する場合として説明したが、これに限定されない。携帯電子機器及び音声制御システムは、右耳用補正パラメータと左耳用補正パラメータのいずれか一方を設定するようにしてもよい。この場合も、聞いている耳に基づいて制御を切り換えることで、一方の耳で聞いているときは、音声を補正し、他方の耳で聞いているときは、音声を補正しないようにすることができる。これにより、一方の耳は聴こえにくく、他方の耳は健聴者と同様に聴こえる利用者も好適に利用することができる。
以上のように、本発明は、音声を出力するものに有用である。
1 携帯電子機器
1C 筐体
2 ディスプレイ
13 操作部
13A 操作キー
13B 方向及び決定キー
22 処理部
22a 補正パラメータ設定部
22b 音声解析部
22c スペクトル分析部
22d 提示音生成部
22e 補正機能制御部
24 記憶部
30 音声処理部
32 表示部
34 出力音補正部
35 加速度センサ
36 光センサ
37 圧力センサ
38 カメラ
39 タッチセンサ

Claims (12)

  1. 筐体と、
    前記筐体に設けられて、音声信号に基づいて音を発生する音発生部と、
    前記筐体に設けられて、少なくとも右耳用の補正パラメータと左耳用の補正パラメータのどちらかを記憶する記憶部と、
    前記筐体に設けられて、前記音発生部で発生させる音を、右耳を聞き耳として聞いているか、左耳を聞き耳として聞いているかを識別するための識別情報を取得する識別情報取得部と、
    前記識別情報取得部で取得した識別情報に基づいて、右耳を聞き耳として聞いているか、左耳を聞き耳として聞いているかを検出し、検出した聞き耳に対応する補正パラメータがあれば、当該補正パラメータを前記記憶部から読み出し、読み出した補正パラメータを使用補正パラメータとして設定する処理部と、
    前記処理部により設定された前記使用補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、
    を備えることを特徴とする携帯電子機器。
  2. 前記記憶部は、利用者の利き耳の情報をさらに記憶しており、
    前記処理部は、前記聞き耳の検出前は、前記利き耳に対応する補正パラメータがあれば、当該補正パラメータを使用パラメータとして設定することを特徴とする請求項1に記載の携帯電子機器。
  3. 筐体と、
    他の機器と通信を行う通信部と、
    前記筐体に設けられて、音声信号に基づいて音を発生する音発生部と、
    前記筐体に設けられて、前記音発生部で発生させる音を、右耳を聞き耳として聞いているか、左耳を聞き耳として聞いているかを識別するための識別情報を取得する識別情報取得部と、
    前記筐体に設けられて、前記通信部を介して他の機器に前記識別情報を送信し、前記他の機器から、検出した聞き耳に対応する、右耳用の補正パラメータまたは左耳用の補正パラメータを取得し、取得した補正パラメータを使用補正パラメータとして設定する処理部と、
    前記処理部により設定された前記使用補正パラメータに基づいて、音声信号を補正し、補正した音声信号を前記音発生部に供給する補正部と、
    を備えることを特徴とする携帯電子機器。
  4. 前記識別情報取得部は、前記筐体に作用する加速度を検出する加速度センサであり、
    前記処理部は、前記加速センサで検出した前記筐体の移動方向を前記識別情報として取得し、前記聞き耳を検出することを特徴とする請求項1から3のいずれか1項に記載の携帯電子機器。
  5. 前記処理部は、前記加速センサで一定以上の加速度を検出したら、聞き耳の検出を行うことを特徴とする請求項3に記載の携帯電子機器。
  6. 前記識別情報取得部は、前記音発生部の近傍に配置され、前記音発生部に対面する領域の画像を取得するカメラであり、
    前記処理部は、前記カメラで検出した前記音発生部に対面する領域の画像を前記識別情報として取得し、前記聞き耳を検出することを特徴とする請求項1から5のいずれか1項に記載の携帯電子機器。
  7. 前記識別情報取得部は、前記筐体に作用する加速度を検出する圧力センサであり、
    前記処理部は、前記圧力センサで検出した圧力に基づいて、前記筐体を把持している手を検出し、当該把持している手を前記識別情報として取得し、前記聞き耳を検出することを特徴とする請求項1から6のいずれか1項に記載の携帯電子機器。
  8. 前記識別情報取得部は、前記筐体に照射されている光の分布を検出する光センサであり、
    前記処理部は、前記光センサで検出した光の分布に基づいて、前記筐体の向きを判定し、前記筐体の向きを前記識別情報として取得し、前記聞き耳を検出することを特徴とする請求項1から7のいずれか1項に記載の携帯電子機器。
  9. 前記補正パラメータは、音声周波数毎に音の大きさを調整するパラメータであることを特徴とする請求項1から8のいずれか1項に記載の携帯電子機器。
  10. 前記補正パラメータは、前記音発生部から発生させる音声が不快閾値と可聴閾値との間の大きさになるように補正するパラメータであることを特徴とする請求項9に記載の携帯電子機器。
  11. 音声信号に基づいて音を発生する音発生部と、
    前記音発生部で発生させる音を、右耳を聞き耳としているか、左耳を聞き耳としているかを識別するための識別情報を取得する識別情報取得部と、
    右耳用及び左耳用の一方或いは双方の補正パラメータを記憶する記憶部と、
    利用者が右耳或いは左耳を聞き耳としている場合に、前記利用者の聞き耳に対応する補正パラメータを前記憶部から読み出し、当該読み出した補正パラメータに基づいて前記音発生部から発生する音を補正させる制御を行う制御部と、
    前記制御部と他の各部との間にて、有線或いは無線にて、信号を送信或いは受信するための信号回路網と、を有し、
    少なくとも前記音発生部及び識別情報取得部は、使用者が携帯可能な筐体に設けられる音声制御システム。
  12. 前記記憶部あるいは前記制御部の一方或いは双方を、サーバに設けることを特徴とする請求項11に記載の音声制御システム。
JP2010217947A 2010-09-28 2010-09-28 携帯電子機器及び音声制御システム Expired - Fee Related JP5582946B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010217947A JP5582946B2 (ja) 2010-09-28 2010-09-28 携帯電子機器及び音声制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010217947A JP5582946B2 (ja) 2010-09-28 2010-09-28 携帯電子機器及び音声制御システム

Publications (2)

Publication Number Publication Date
JP2012074913A true JP2012074913A (ja) 2012-04-12
JP5582946B2 JP5582946B2 (ja) 2014-09-03

Family

ID=46170671

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010217947A Expired - Fee Related JP5582946B2 (ja) 2010-09-28 2010-09-28 携帯電子機器及び音声制御システム

Country Status (1)

Country Link
JP (1) JP5582946B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014165692A (ja) * 2013-02-26 2014-09-08 Kddi Corp 音声出力装置
JP2014192781A (ja) * 2013-03-28 2014-10-06 Kddi Corp 音声出力装置
US9706304B1 (en) * 2016-03-29 2017-07-11 Lenovo (Singapore) Pte. Ltd. Systems and methods to control audio output for a particular ear of a user
EP3161967A4 (en) * 2014-06-24 2018-02-14 LG Electronics Inc. Mobile terminal and control method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174195A (ja) * 1996-12-10 1998-06-26 Nec Corp ディジタル補聴器、及びその補聴処理方法
JP2002244686A (ja) * 2001-02-13 2002-08-30 Hitachi Ltd 音声加工方法、これを用いた電話機及び中継局
JP2008165451A (ja) * 2006-12-28 2008-07-17 Sharp Corp 表示装置一体型入力装置
JP2008227775A (ja) * 2007-03-12 2008-09-25 Sanyo Electric Co Ltd 通信端末装置
JP2009065669A (ja) * 2007-09-05 2009-03-26 Avaya Technology Llc イア・バイオメトリックスを使用してハンドヘルド・オーディオ・デバイス(handheldaudiodevice)を設定する方法および装置
JP2010524407A (ja) * 2007-04-13 2010-07-15 クゥアルコム・インコーポレイテッド 聴力損失を補償するための動的ボリューム調整及びバンドシフト

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174195A (ja) * 1996-12-10 1998-06-26 Nec Corp ディジタル補聴器、及びその補聴処理方法
JP2002244686A (ja) * 2001-02-13 2002-08-30 Hitachi Ltd 音声加工方法、これを用いた電話機及び中継局
JP2008165451A (ja) * 2006-12-28 2008-07-17 Sharp Corp 表示装置一体型入力装置
JP2008227775A (ja) * 2007-03-12 2008-09-25 Sanyo Electric Co Ltd 通信端末装置
JP2010524407A (ja) * 2007-04-13 2010-07-15 クゥアルコム・インコーポレイテッド 聴力損失を補償するための動的ボリューム調整及びバンドシフト
JP2009065669A (ja) * 2007-09-05 2009-03-26 Avaya Technology Llc イア・バイオメトリックスを使用してハンドヘルド・オーディオ・デバイス(handheldaudiodevice)を設定する方法および装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014165692A (ja) * 2013-02-26 2014-09-08 Kddi Corp 音声出力装置
JP2014192781A (ja) * 2013-03-28 2014-10-06 Kddi Corp 音声出力装置
EP3161967A4 (en) * 2014-06-24 2018-02-14 LG Electronics Inc. Mobile terminal and control method thereof
US9973617B2 (en) 2014-06-24 2018-05-15 Lg Electronics Inc. Mobile terminal and control method thereof
US9706304B1 (en) * 2016-03-29 2017-07-11 Lenovo (Singapore) Pte. Ltd. Systems and methods to control audio output for a particular ear of a user

Also Published As

Publication number Publication date
JP5582946B2 (ja) 2014-09-03

Similar Documents

Publication Publication Date Title
JP2015516091A (ja) 声紋特徴モデルを更新するための方法及び端末
CN109215683B (zh) 一种提示方法及终端
CN111477243B (zh) 音频信号处理方法及电子设备
JP5582946B2 (ja) 携帯電子機器及び音声制御システム
CN106920559A (zh) 通话音的优化方法、装置及通话终端
WO2012002537A1 (ja) 携帯電子機器および音声制御システム
US9078071B2 (en) Mobile electronic device and control method
JP5702251B2 (ja) 携帯電子機器、音声出力方法及び音声出力プログラム
KR101398466B1 (ko) 음향조절 어플리케이션이 저장된 휴대단말
JP2013048387A (ja) 携帯電子機器、音声出力方法及び音声出力プログラム
JP2013034057A (ja) 電子機器、音響再生方法、及びプログラム
JP4591303B2 (ja) 携帯端末装置及びプログラム
JP5726446B2 (ja) 携帯電子機器
JP2010177774A (ja) 携帯電子機器及び音声出力調整方法
JP5644610B2 (ja) 通信装置および受話音量設定プログラム
CN108492311A (zh) 通过电子设备进行动作校正的方法及装置
JP6061489B2 (ja) 電子機器及び音声調整方法
JP5690085B2 (ja) 携帯電子機器
KR100618265B1 (ko) 시력 검사 기능을 가지는 무선통신 단말기 및 그 방법
JP2012074911A (ja) 携帯電子機器及び音声制御システム
JP2009170991A (ja) 情報送信方法及び装置
JP5535034B2 (ja) 携帯電子機器及び音声制御システム
JP5847020B2 (ja) 携帯電子機器
JP5122326B2 (ja) 携帯電子機器
CN116074696A (zh) 一种主动改善骨传导扬声器音质的方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140611

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140715

R150 Certificate of patent or registration of utility model

Ref document number: 5582946

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees