JP2010039289A - 携帯型電子機器 - Google Patents

Abstract

【課題】 無駄なバッテリ消費を削減しながらも、必要な音声合成の音質は保つ携帯型電子機器を提供すること。
【解決手段】 携帯型電子機器の筐体の状態や、利用しているアプリケーションソフトウェア、ユーザによる入力操作の有無、携帯型電子機器の現在場所などの状態を取得し、取得した状態に応じて合成音声の音質が高い必要があるか否かを判定し、合成音声の音質が求められない場合には、音声合成の処理を簡略化させ、音声合成の音質が求められる場合には、音声合成の処理を簡略化させない。
【選択図】 図５

Description

本発明は音声合成処理を実行可能な携帯型電子機器に関する。

近年の携帯電話機等のモバイル機器には、音声合成機能が搭載されたものがある。この音声合成機能を用いて、携帯電話機のメニュー項目を読み上げたり受信したメールを読み上げたりすることにより、幅広いユーザにとって使いやすい携帯電話機を実現することができる。

しかしながら、音声合成処理において合成音声の音質を向上させると、音声合成処理の処理量が増大するため、モバイル機器のバッテリ持ちが悪くなり、バッテリ持ちを優先して音声合成処理の処理量を削減すると、合成音声の音質が劣化し、ユーザにとって聞き取りにくい合成音声が出力されるという問題があった。

そこで、このような問題に対して、バッテリ残量が少なくなった場合に、クロック周波数、読み上げ速度、音量を下げることによってバッテリ消費電力を下げる携帯情報端末が提案されている（例えば、特許文献１参照。）。
特開２００３−３０８０８２号公報

しかしながら、特許文献１に記載される発明にように、単にクロック周波数や読み上げ速度を下げても、その分読み上げ時間が長くなる。そのため、クロック周波数や読み上げ速度を変更して文章を読み上げるのに必要なトータルのバッテリ消費電力は、クロック周波数や読み上げ速度を下げる前の状態で同じ分量の文章を読み上げるために必要なトータルのバッテリ消費電力と変わらないという問題点がある。

また、単に音量を下げたとしても、出力端のアンプでの消費電力量を節約することができる程度の効果しかなく、さらに合成音声の音量が小さくなる分、聞き取りにくくなってしまうという問題点がある。

そこで本発明は、無駄なバッテリ消費を削減しながらも、必要な音声合成の音質は保つ携帯型電子機器を提供することを目的とする。

上記目的を達成するために、本発明による携帯型電子機器は、音声を合成して出力する音声合成手段と、自端末の状態を検出する状態検出手段と、前記状態検出手段によって検出された状態に応じて、前記音声合成手段によって処理を簡略化した音声合成を行うか、処理を簡略化させない音声合成を行うかを切り換える音声合成制御手段とを有することを特徴としている。

本発明によれば、無駄なバッテリ消費を削減しながらも、必要な音声合成の音質は保つ携帯型電子機器を提供することができる。

以下、本発明の実施形態について図面を参照して説明する。なお、携帯電話機を例にして説明するが、携帯電話機に限定せず、電子辞書、ＰＤＡ、ＰＣなど他の電子機器でも良い。

図１は、本発明の電子機器の実施形態の一例である携帯電話機の外観を示した図である。携帯電話機１は、折り畳み形状の携帯電話機であり、上筐体１１と下筐体１２とがヒンジによって回動可能に接合されており、図１（ａ）のように上筐体１１と下筐体１２とが重ならない状態や、図１（ｂ）のように上筐体１１と下筐体１２とが重なった状態を保持することができる。

上筐体１１には、例えば液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイ１３が配置されている。一方、下筐体１２には、携帯電話機１の入力キー（メインキー１４ａ、電源キー１４ｂ、サイドキー１４ｃ）が配置されている。

なお、メインキー１４ａは、例えば、数字や文字入力に用いられるテンキーやディスプレイ１３に表示されたカーソルに移動などに用いられる方向キー、電子メール等のアプリケーションソフトウェアの起動に用いられるファンクションキーなどから構成される。電源キー１４ｂは、電源のＯＮ／ＯＦＦ操作や音声通話の終話操作などに用いられる。サイドキー１４ｃは、下筐体１２のメインキー１４ａや電源キー１４ｂが配置された面とは異なる面に配置された操作キーであって、所定の機能が割当てられている。

図１（ａ）のように、上筐体１１と下筐体１２とが重ならない状態では、上筐体１１に配置されたディスプレイ１３や、下筐体１２に配置された操作キーのうちメインキー１４ａや電源キー１４ｂが露出しており、ユーザはディスプレイ１３を視認しながらメインキー１４ａと電源キー１４ｂを操作することができる。なお、以降では、図１（ａ）のように、ディスプレイ１３が上筐体１１によって覆われていない状態を開状態と称する。

それに対して、図１（ｂ）のように、上筐体１１と下筐体１２とが重ねられた状態では、メインキー１４ａと電源キー１４ｂが上筐体１１によって覆われており、ユーザはメインキー１４ａと電源キー１４ｂとを用いた操作を行うことができない。ただし、サイドキー１４ｃは、上筐体１１によって覆われず、操作可能である。以降では、図１（ｂ）のように、ディスプレイ１３が上筐体１１によって覆われた状態を閉状態と称する。

携帯電話機１は、このような開状態と閉状態とを検出するために、上筐体１１の端部にホール素子等の磁気センサ１５ａ、下筐体１２の端部に磁石１５ｂを有する。携帯電話機１が閉じられると、磁気センサ１５ａは磁石１５ｂに近接するため、磁気を検知して閉状態を検出することができる。それに対して、携帯電話機１が開かれると、磁気センサ１５ａは磁石１５ｂから離れて磁気が弱くなるため、開状態であることを検出することができる。

なお、開閉状態の検出は、磁気センサと磁石による検出方法に限定されない。例えば、一方の筐体に突起を設け、他方にスイッチを設けて、閉じたときにスイッチが押下されることによって閉状態を検出しても良い。また、携帯電話機の開閉機構は、図２、図３に示すようなスライド型としてもよく、要するにユーザが携帯電話機を手に持って通常の電話操作を行う状態を開状態と呼び、工場出荷時の携帯電話機の状態（すなわち、蓋を閉じる等のクローズされた状態）を閉状態と呼ぶ。

図４は、本実施形態の携帯電話機１の内部構成を示すブロック図である。携帯電話機１は、全体の制御を行う制御部５１を有し、その他の主な構成要素として、通信部５２、アンテナ５３、信号処理部５４、音声入出力部５５、入力部５６、表示部５７、記憶部５８、電源制御部５９を備えている。

通信部５２は、制御部５１の指示に従って、図示しない移動通信網の基地局と無線通信を行うためのものである。情報の受信時には、アンテナ５３が基地局から送信された電波を受信して電気信号に変換し、この信号が通信部５２へ入力される。通信部５２では、受信した電気信号をベースバンド信号にダウンコンバートして信号処理部５４へ出力する。
それに対して、情報の送信時には、通信部５２が信号処理部５４から出力された送信信号を無線周波数の信号にアップコンバートし、アンテナ５３によって電気信号を電波に変換して、空間に放射する。

信号処理部５４は、通信部５２からベースバンドの信号が入力された場合には、ベースバンド信号を変調し、誤り訂正を行ったデータをメディアごとに分離する。例えば、通話音声を受信した場合には、受信データに含まれる音声データを復号し、音声入出力部５５に出力する。また例えば、テレビ電話のように受信データに動画像データが含まれていれば、この動画像データも復号して表示部５７へ出力する。

また、信号処理部５４は、制御部５１からの制御に基づいて、音声入出力部５５から入力される音声データや、制御部５１から与えられる電子メールデータなどの送信データなどに基づいて送信信号を生成し、通信部５２に出力することができる。

音声入出力部５５は、スピーカやマイクロホンを備えている。音声入出力部５５は、マイクロホンを介して入力された音声をＰＣＭ符号化することによって音声データに変換し、信号処理部５４に出力することができる。また、信号処理部５４から入力された音声データをＰＣＭ復号し、増幅した後に、スピーカから出力することができる。

入力部５６は、キースイッチやタッチパネルなどを用いた入力デバイスであって、ユーザからの指示を受け付け、ユーザの指示を表す情報を制御部５１に出力する。

表示部５７は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）などを用いた表示デバイスであって、制御部５１によって実行されるアプリケーションソフトウェアに応じて画像や文字などを表示する。

記憶部５８は、制御部５１によって実行されるアプリケーションソフトウェアや、携帯電話機１のユーザ情報などを記憶する。

電源制御部５９は、図示しないバッテリの出力電圧を測定し、バッテリから送出される電気エネルギーの電圧を制御する。また、バッテリの電圧がある一定値よりも下がった場合には、携帯電話機１の電源をＯＮにすることが不可能な状態にして、過放電から保護する。また、電源制御部５９は、バッテリの電圧を示す情報を制御部５１に出力する。制御部５１は、このバッテリの電圧を示す情報に応じて、バッテリのエネルギー残存量を表すアイコンを表示部５７に表示することにより、携帯電話機１のユーザにバッテリのエネルギー残存量を知らせることができる。

次に、上記のような構成の携帯電話機１の制御部５１で音声合成を行う際の制御について説明する。

図５は、制御部５１で実行される音声合成に関わる機能の関係を示した図である。本実施形態に係る携帯電話機１の音声合成部１０３は、利用状況検出部１０１によって検出された携帯電話機１の利用状況に応じた音声合成制御部１０２からの制御信号によって、音声合成処理の動作モードを切り換える。

利用状況検出部１０１では、携帯電話機１の筐体の状態、制御部５１で実行されているアプリケーションソフトウェアの種類、ユーザからの入力操作の有無、周囲の状況などを検出する。

携帯電話機１の筐体の状況として、利用状況検出部１０１は、筐体が開状態にあるか閉状態にあるかを検出する。開状態にあるときには、ユーザがディスプレイ１３を確認することができるため、音声合成部１０３によって合成される合成音声はディスプレイ１３での表示の補助的に使われる。そこで、音声合成制御部１０２は、音声合成部１０３に対して、処理を簡略化させた音声合成を行うよう命令を出力する。それに対して、閉状態にあるときには、携帯電話機１が図１のような形状の場合には、ユーザがディスプレイ１３を確認することができず、また図２や図３のような形状の場合であっても、携帯電話機１が閉状態の場合には、鞄の中などに入れられている可能性が高いため、ユーザは音声合成部１０３によって合成される合成音声によって情報を得ると考えられる。そこで、音声合成制御部１０２は、音声合成部１０３に対して、処理を簡略化させずに音声合成を行うよう命令を出力する。

また、携帯電話機１の状態として、利用状況検出部１０１は、電源制御部５９によって検出されるバッテリのエネルギー残存量が所定の閾値よりも高いか低いかを検出する。そして、所定の閾値よりも高い場合には、エネルギー残存量に余裕があるため、音声合成制御部１０２は、合成音声の処理を簡略化させないよう音声合成部１０３を制御する。それに対して、所定の閾値よりも低い場合には、エネルギーが不足しているため、消費電力の大きい高品質な音声合成処理を控え、バッテリの持ち時間を長くする必要がある。そこで、音声合成制御部１０２は、合成音声の処理を簡略化させるよう音声合成部１０３を制御する。

利用状況検出部１０１が、制御部５１で実行されているアプリケーションソフトウェアの種類を検出する場合としては、例えば、実行されるアプリケーションソフトウェアが音質を重要視するものか音質を重要視しないものかに応じて音声合成部１０３での動作モードを切り換える場合がある。実行されるアプリケーションソフトウェアが音質を重要視するものか音質を重要視しないものかを判別するために、記憶部５８に記憶されるアプリケーションソフトウェアのうち、音質が重要視されるアプリケーションソフトウェアであるならば、それを識別する情報を付加しておく。そして、利用状況検出部１０１が、音質が重要視されるアプリケーションソフトウェアが実行されることを検出すると、音声合成制御部１０２は、音声合成部１０３を音声合成の処理量を下げずに高音質な音声合成を行うように制御し、音質が重要視されるアプリケーションソフトウェアではないアプリケーションソフトウェアを実行するときには、音声合成制御部１０２は音声合成部１０３を音声合成の処理量を下げるよう制御する。

音質が重要視されるアプリケーションソフトウェアとは、例えば、電子ブックの読み上げなど、音声を楽しむようなアプリケーションソフトウェアである。それに対して、音質が重要視されないアプリケーションソフトウェアとは、例えば、音声着信や電子メールの着信や時報などを知らせる、情報を伝達するための合成音声を出力させるアプリケーションソフトウェアである。このようなアプリケーションソフトウェアでは、情報が伝達されること自体を重要視され、良い音質の合成音声であることまでは求められないので、音声合成の処理を簡略化することができる。

利用状況検出部１０１が、ユーザからの入力操作の有無を判別する場合としては、例えば、情報を通知するアプリケーションソフトウェアとは異なるアプリケーションソフトウェアに対して、ユーザが入力操作を行っていることを検出する場合が考えられる。ユーザが入力部５６を用いて携帯電話機１に対する操作を行っているときに、ユーザが入力操作を行っている対象のアプリケーションソフトウェアとは別のアプリケーションソフトウェアに関する情報を通知するときには、音声合成制御部１０２が音声合成部１０３に対して処理を簡略化させずに音声合成を行うよう制御するとともに、制御部５１は、当該別のアプリケーションソフトウェアによる画面に切り換えない。それに対して、ユーザが入力操作を行っていない場合に、現在表示部５７に表示していないアプリケーションソフトウェアに関する情報を通知するときには、音声合成制御部１０２が音声合成部１０３に対して処理を簡略化させて音声合成を行うよう制御するとともに、制御部５１は、当該表示されていなかったアプリケーションソフトウェアに関する情報を通知するための画面に切り換える。

これによって、ユーザが入力操作を行っているときには、表示部５７の表示を切り換えないため、ユーザが入力操作を続行したいときにも、その操作を妨げない。そのうえ、高品質な合成音声によって情報が通知されるため、ユーザは現在入力を行っているアプリケーションソフトウェアによる表示部５７への表示を注視しながら、他のアプリケーションソフトウェアによって通知される情報を詳細に知ることもできる。また、ユーザが入力操作を行っていない状態では、画面を切り換えても、ユーザの入力操作を妨げない。そこで、画面を切り換えることによって情報を表示部５７に表示し、音声合成の処理は簡略化（又は省略）することによって、表示部５７への表示と音声合成部１０３から出力される合成音声の両方で同じ情報が伝達されることによる消費電流の無駄を削減することができる。

なお、ここではユーザが現在アプリケーションソフトウェアに対して入力部５６を介した入力操作を行っている場合に音声合成処理を簡略化させないとして説明したが、入力操作を行っている最中でなくても、最後に入力操作が行われてから所定の時間内ならば、音声合成処理を簡略化させないとしても良い。

利用状況検出部１０１が、周囲の状況を判別する場合とは、例えば、音声入出力部５５のマイクロホンを用いて、周囲の雑音を周音し、周囲の雑音のレベルが所定の閾値よりも大きいか小さいかに応じて、音声合成部１０３の動作モードを切り換える場合が考えられる。周囲の雑音レベルが所定の閾値よりも大きい場合には、音声合成制御部１０２は、音声合成部１０３による音声合成処理を、合成音の基本周波数が高くなるように設定するとともに、簡略化させた音声合成を行うよう制御する。これは、基本周波数が高い声は、雑音のレベルが大きい場合でもよく通る声であるためである。一方、周囲の雑音のレベルが所定の閾値よりも小さい場合には、音声合成制御部１０２は、音声合成部１０３による音声合成処理を、簡略化させずに音声合成を行うよう制御する。

また、利用状況検出部１０１が、携帯電話機１が通信相手局との通話中であることを検出して、通話中であれば、音声合成部１０３によって通知すべき情報を音声合成して出力しても良い。通話中、ユーザはディスプレイ１３を視認することができない場合が多いため、ディスプレイ１３に表示するのではなく、音声合成部１０３で生成された合成音声を出力することによって、ユーザに情報を伝達することができる。

また、携帯電話機１がＧＰＳ機能を備えている場合、ＧＰＳ機能によってユーザの位置を検出し、この位置情報によって音声合成部１０３のＯＮ／ＯＦＦを切り換えることも考えられる。例えば、あらかじめ記憶部５８に記憶している地図情報、もしくは通信部５２を介して接続したサーバからダウンロードした地図情報とＧＰＳ機能によって取得した現在位置とを照らし合わせることによって、携帯電話機１のユーザが家にいるのか、自宅以外のパブリックな場所にいるのかを判別し、家にいる場合には、音声合成部１０３をＯＮに設定し、パブリックな場所にいる場合には、音声合成部１０３をＯＦＦに設定する。これによって、パブリックな場所にいるときに合成音声が出力されることで、周囲の人に情報を知られることがなくなる。

次に、音声合成部１０３について説明する。音声合成部１０３は、音素環境クラスタ記憶部１０３ａ、素片選択部１０３ｂ、代表素片選択部１０３ｃ、合成処理部１０３ｄを有する。

音素環境クラスタ記憶部１０３ａは、多数の音声素片を各音声素片間の距離尺度に基づいて分類された音声環境に関する複数のクラスタを記憶する。

素片選択部１０３ｂには、入力音素の情報として、例えばテキスト音声合成のために入力テキストの形態素解析・構文解析後さらにアクセントやイントネーション処理を行って得られた韻律情報と、音韻記号列と、音声合成制御部１０２からの制御信号が与えられる。韻律情報には、ピッチパターンおよび音韻継続時間長が含まれている。素片選択部１０３ｂでは、これらの韻律情報と音韻記号列とから入力音素の音素環境を内部的に生成する。そして、素片選択部１０３ｂは、音素環境クラスタ記憶部１０３ａより読み出された音素環境クラスタを参照して、入力音素の音素環境がどの音素環境クラスタに属するかを探索し、探索した音素環境クラスタに対応する代表音声素片選択情報を代表素片選択部１０３ｃへ出力する。このとき、音声合成制御部１０２からの制御によって、音声合成処理を簡略化させる場合には、音素環境クラスタ記憶部１０３ａから読み出される音素環境クラスタを制限し、音素環境クラスタの探索処理を削減する。

代表素片選択部１０３ｃは、素片選択部１０３ｂから出力された代表音声素片選択情報に従ってあらかじめ記憶している複数の代表音声素片の中から、選択的に読み出す。ただし、代表素片選択部１０３ｃは、音声合成制御部１０２からの制御信号によって、音声合成処理を簡略化させる場合には、あらかじめ記憶されている複数の代表音声素片の全てから選択するのではなく、制限された代表音声素片の中から選択的に読み出す。

合成処理部１０３ｄは、代表素片選択部１０３ｃから出力された代表音声素片に対して、韻律情報に従ってピッチ周期および音韻継続時間長を変更するとともに、素片の接続を行って合成音声を出力する。なお、この合成処理部１０３ｄに対して音声合成制御部１０２からの制御信号を入力して、音声合成処理を簡略化する場合には、合成処理に用いられるフィルタの次数を減らすことによって簡略化させても良い。ここで、フィルタとは、波形素片を結合する際に素片間のつなぎ目をオーバーラップさせて滑らかにするものである。このフィルタの次数を減らすことで、つなぎ目が不自然になるという音質劣化を伴う可能性があるが、計算量を削減できるという効果が得られる。

このような実施形態の構成をとることで、携帯型電子機器の筐体の状態や、利用しているアプリケーションソフトウェア、ユーザによる入力操作の有無、携帯型電子機器の現在場所などに応じて合成音声の音質が高い必要があるか否かを判定し、合成音声の音質が求められない場合には、音声合成の処理を簡略化させることによって、必要な音声合成の音質は保ちつつ、無駄なバッテリ消費は削減することができる。

なお、上記実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において、適宜変更しても良い。

本発明の実施形態に係る携帯電話機の外観を示した図。 本発明の実施形態に係る携帯電話機の外観を示した図。 本発明の実施形態に係る携帯電話機の外観を示した図。 本発明の実施形態に係る携帯電話機の内部構成を示すブロック図。 本発明の実施形態に係る携帯電話機の制御部で実行される音声合成に関わる機能の関係を示した図。

符号の説明

１ 携帯電話機、１１ 上筐体、１２ 下筐体、１３ ディスプレイ、１４ａ メインキー、１４ｂ 電源キー、１４ｃ サイドキー、１５ａ 磁気センサ、１５ｂ 磁石、５１ 制御部、５２ 通信部、５３ アンテナ、５４ 信号処理部、５５ 音声入出力部、５６ 入力部、５７ 表示部、５８ 記憶部、５９ 電源制御部、１０１ 利用状況検出部、１０２ 音声合成制御部、１０３ 音声合成部、１０３ａ 音素環境クラスタ記憶部、１０３ｂ 素片選択部、１０３ｃ 代表素片選択部、１０３ｄ 合成処理部

Claims (4)

1. 音声を合成して出力する音声合成手段と、
   自端末の状態を検出する状態検出手段と、
   前記状態検出手段によって検出された状態に応じて、前記音声合成手段によって処理を簡略化した音声合成を行うか、処理を簡略化させない音声合成を行うかを切り換える音声合成制御手段とを有することを特徴とする携帯型電子機器。
2. 第１の筐体と第２の筐体とが回動可能に結合された携帯型電子機器であって、
   前記第１の筐体に設けられた表示手段と、
   音声を合成して出力する音声合成手段と、
   前記第１の筐体と前記第２の筐体が重なって前記第２の筐体によって前記表示手段が覆われた閉状態と前記第１の筐体と前記第２の筐体が重ならずに前記表示手段が露出した開状態とを検出する状態検出手段と、
   前記利用状況検出手段によって閉状態であることが検出された場合、前記音声合成手段を用いた音声合成処理を簡略化し、前記利用状況検出手段によって開状態であることが検出された場合、前記音声合成手段を用いた音声合成処理を簡略化させないよう制御する音声合成制御手段とを有することを特徴とする携帯型電子機器。
3. 音声を合成して出力する音声合成手段と、
   アプリケーションソフトウェアとそのアプリケーションソフトウェアが前記音声合成手段によって音声合成処理を実行させるアプリケーションソフトウェアならば音質を重視するか否かを示す情報とを対応付けて記憶する記憶手段と、
   前記アプリケーションソフトウェアを実行するときに、前記記憶手段に記憶された音質を重視するか否かを示す情報を参照して、音質を重視するアプリケーションソフトウェアを実行するか音質を重視しないアプリケーションソフトウェアを実行するかを検出する状態検出手段と、
   音質を重視するアプリケーションソフトウェアならば前記音声合成手段を用いた音声合成処理を簡略化させず、実行するアプリケーションソフトウェアが音質を重視しないアプリケーションソフトウェアの場合には前記音声合成手段を用いた音声合成処理を簡略化させるよう制御する音声合成制御手段とを有することを特徴とする携帯型電子機器。
4. 音声を合成して出力する音声合成手段と、
   ユーザからの操作を受け付ける入力手段と、
   アプリケーションソフトウェアを記憶する記憶手段と、
   前記アプリケーションソフトウェアによって出力される文字または画像を表示する表示手段と、
   前記記憶手段に記憶されたアプリケーションソフトウェアによる情報を出力するときに、他のアプリケーションソフトウェアに対して前記入力手段を用いた入力操作が行われているか否かを検出する状態検出手段と、
   前記記憶手段に記憶されたアプリケーションソフトウェアによる情報を出力するときに、他のアプリケーションソフトウェアに対して前記入力手段を用いた入力操作が行われている場合には、前記音声合成手段によって音声合成を行って音声による情報の出力を行い、第１のアプリケーションソフトウェアによる情報を出力するときに、他のアプリケーションソフトウェアに対して前記入力手段を用いた入力操作が行われていない場合には、前記表示手段によって文字または画像の情報を出力し、前記音声合成手段による音声合成処理は簡略化させるよう制御する音声合成制御手段とを有することを特徴とする携帯型電子機器。

Images