JP2004146894A - 携帯端末装置及び音声制御プログラムを記録した記録媒体 - Google Patents
携帯端末装置及び音声制御プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004146894A JP2004146894A JP2002306560A JP2002306560A JP2004146894A JP 2004146894 A JP2004146894 A JP 2004146894A JP 2002306560 A JP2002306560 A JP 2002306560A JP 2002306560 A JP2002306560 A JP 2002306560A JP 2004146894 A JP2004146894 A JP 2004146894A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- broadcast wave
- call
- terminal device
- broadcast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】複数の音声情報を聞き取ることができ、放送を視聴しながら電話できる携帯電話装置を実現する。
【解決手段】携帯電話装置１０は、イヤホン１６と、放送電波を受信する放送波受信部１００と、無線電話回線で通話を行う電話通信部１１０と、放送波受信部１００で受信した放送波音声と電話通信部１１０で受信した通話音声を合成して音声出力する音声合成部１０５とを備え、音声合成部１０５は、放送波受信部１００で受信した放送波音声と電話通信部１１０で受信した通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整し合成する。
【選択図】 図１
【解決手段】携帯電話装置１０は、イヤホン１６と、放送電波を受信する放送波受信部１００と、無線電話回線で通話を行う電話通信部１１０と、放送波受信部１００で受信した放送波音声と電話通信部１１０で受信した通話音声を合成して音声出力する音声合成部１０５とを備え、音声合成部１０５は、放送波受信部１００で受信した放送波音声と電話通信部１１０で受信した通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整し合成する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、地上デジタル放送などの放送波を受信し表示可能な携帯電話装置等の携帯端末装置及び音声制御プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
現在のアナログ放送に代わる新しい放送方式である地上デジタル放送の準備が進んでいる。この地上デジタル放送の技術規格ＩＳＤＢ−Ｔ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ−Ｔｅｒｒｅｓｔｒｉａｌ）では、変調方式に多数の搬送波（キャリア）を使うＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘ：直交波周波数分割多重）が採用され、ビルによる反射など複数の伝播経路（マルチパス）による妨害が抑制可能となっている。さらに、ＩＳＤＢ−Ｔは移動体への安定した受信が可能となることが大きな特徴の一つとして挙げられており、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）などの移動体端末向けの放送サービスに大きな期待が寄せられている。携帯電話装置の機能向上は目覚しいスピードで進展しており、近い将来には上記地上デジタル放送の受信が可能な携帯電話が開発され、携帯電話で放送を視聴しながら電話をすることも可能になると予想される。
【０００３】
ところで、携帯電話で放送を視聴しながら電話をするには、放送波音声と通話音声の２つの音声を取り扱わなくてはいけないといった課題がある。この課題に関して、特許文献１には、放送の音声と通信音声を足し合わせイヤホンに出力する携帯式音声情報取扱装置が開示されている。この特許文献１によると、ラジオや放送を視聴している時に電話がかかってきた時は、通話音声の音量を自動的に上げ、放送波音声を自動的に下げて足し合わせることで、使用者は特に切り替え操作を要せずに通話の相手先の音声を聞き取ることができるとしている。
【特許文献１】
特開平１１−２７７８７号公報（図１）
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の携帯端末装置にあっては、以下のような課題を有している。
例えば、人間の聴覚特性には同じ時刻に２つの音声が出力された時、大きな音によって小さな音が遮られるといった時間マスキング効果や、ほぼ同じ周波数の音声によって他の音声が遮られる周波数マスキング効果が知られている。上記特許文献１に記載の装置では、単に電話通話音声の音量を自動的に上げ、電波受信音声を自動的に下げるものであり、足し合わせた音声出力は、時間マスキング効果により通話音声しか聞き取れない状態となり、放送を視聴しながら電話するには不十分である。また、特許文献１では放送波音声と通話音声の音量を個別に調整可能とすることで必要に応じて両者を区別して聞くことが可能となるとしているが、個別の音量調整を適切に設定しないと周波数マスキング効果により２つの音声が混同して聞こえ、両方の音声内容が聞き取れなくなる可能性が高い。
【０００５】
本発明は、このような課題に鑑みてなされたものであって、複数の音声情報を聞き取ることができ、放送を視聴しながら電話できる携帯電話装置を実現することができる携帯端末装置及び音声制御プログラムを記録した記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の携帯端末装置は、放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、前記放送波受信手段が受信した放送波音声と前記電話通信手段が受信した通話音声を合成して音声出力する音声合成手段を備え、前記音声合成手段は、前記放送波音声と前記通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整して音声合成することを特徴としている。
【０００７】
このように構成された本発明の携帯端末装置は、人間の聴覚特性である時間マスキング効果を考慮して放送波音声と通話音声の音量が適切に合成され、容易に両方を聞き取ることが可能となる。
前記音声合成手段は、前記放送波音声と前記通話音声のうち、優先する音声の音量を検出し、その音量に応じて他方の音量を調整して音声合成することで、より一層聞き取りたい音声を視聴者が選択することが可能となる。
【０００８】
前記音声合成手段は、前記通話音声の音量を検出し、該通話音声の検出部分では通話音声を優先し、該通話音声の間欠部分では前記放送波音声を優先して音声合成することで、相手先からの受信通話音声は常に聞き取れ、放送波音声も間欠的に聞き取ることが可能となり、放送を視聴しながら電話が可能となる。
【０００９】
より好ましくは、前記音声合成手段は、前記通話音声が有音である時間を検出し、その時間帯の前記放送波音声の音量を無音にするとともに、該無音にした放送波音声と前記有音である通話音声とを音声合成するものであってもよい。
【００１０】
また、前記音声合成手段は、特定の周波数帯域では前記通話音声を優先し、それ以外の周波数帯域では前記放送波音声を優先して音声合成することで、通話音声すなわち会話音声は常に聞き取ることができ、放送波音声も通話音声の周波数帯以外のＢＧＭや効果音を聞き取ることが可能となり、結果的に放送を視聴しながら電話が可能となる。
【００１１】
本発明の携帯端末装置は、放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、複数の音声出力手段と、前記放送波受信手段が受信した放送波音声と前記電話通信手段が受信した通話音声を、前記複数の音声出力手段に選択的に出力する音声出力選択手段とを備えることを特徴としている。
【００１２】
このように構成された本発明の携帯端末装置は、例えば放送波音声をイヤホンで聞いている時に電話着信があると、自動的に放送波音声をスピーカ出力として通話音声をイヤホンで出力することが可能であり、異なる音声出力部から各々の音声が出力されるため、両方の音声を聞き取りやすくする。
【００１３】
前記音声出力選択手段は、前記放送波音声と前記通話音声に加え、電話着信音を前記複数の音声出力手段に選択的に出力することで、放送視聴中に着信があった場合でも着信音を聞き逃すことがなくなり、携帯端末装置使用者の利便性が向上する。
【００１４】
本発明の携帯端末装置は、放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、前記放送波受信手段は、文字データ放送の受信表示が可能であり、前記電話通信手段における通話の有無に応じて放送波音声出力と文字データ表示とを切り替える音声出力制御手段を備えることを特徴としている。
【００１５】
このように構成された本発明の携帯端末装置は、例えば放送波音声を視聴している時に電話着信があると、自動的に放送波音声の文字放送を表示に自動的に切り替えることが可能となり、放送波音声は視覚情報として、通話音声は聴覚情報として両方の内容を理解することが可能となる。
【００１６】
また、本発明は、放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、前記放送波受信手段が受信した放送波音声と前記電話通信手段が受信した通話音声を合成して音声出力する音声合成手段を備え、前記音声合成手段は、前記放送波音声と前記通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整して音声合成する携帯端末装置として機能させるためのプログラムである。
【００１７】
さらに、本発明は、放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、前記放送波受信手段が受信した放送波音声と前記電話通信手段が受信した通話音声を合成して音声出力する音声合成手段を備え、前記音声合成手段は、前記放送波音声と前記通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整して音声合成する携帯端末装置として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体である。
【００１８】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適な携帯端末装置の実施の形態について詳細に説明する。
【００１９】
第１の実施の形態
図１は、本発明の第１の実施の形態の携帯端末装置の外観を示す図である。本実施の形態の携帯端末装置は、携帯電話装置／ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−Ｐｈｏｎｅ Ｓｙｓｔｅｍ）の携帯通信端末に適用した例である。
【００２０】
図１において、１０は、携帯電話装置（携帯端末装置）であり、携帯電話装置１０本体１０ａは、無線通信を行うためのアンテナ１１、操作のためのガイダンスや受信情報，画像やテキスト情報などの情報を表示するＬＣＤ等からなる映像表示部１２、着信，発信，電話機能切り替え，動作決定等を行う電話機能キー，各種機能を切り替えるためのモードキー、上下左右の方向に選択対象を移動させるカーソルキー，電話番号の入力等をダイヤルするためのダイヤルキーなどからなる操作ボタン１３、及び音声入出力プラグ１４を備えて構成される。
【００２１】
音声入出力プラグ１４には、音声入力装置であるマイクロフォン１５と、音声出力装置であるイヤホン１６（音声出力手段）を有するイヤホンマイク１７とが接続されている。放送波を視聴する時、使用者はイヤホン１６を装着し、放送音声を聞きながら、映像表示部１２に表示される映像を見る。
【００２２】
映像表示部１２は、ドットマトリクス構成の液晶ディスプレイ，バックライト及び各ドライバ等で構成される。映像表示部１２には、映像情報が表示され、また、非電話機能のための各種画面、電話機能の動作状態を示すアイコン等が表示される。さらに、待機時には時刻が表示され、個人情報やシステムの状態などを表示する。
【００２３】
図２は、上記携帯電話装置１０の機能を示す機能ブロック図である。
図２において、携帯電話装置１０は、放送電波を受信するアンテナ１１Ａ及び電話電波を受信するアンテナ１１Ｂからなるアンテナ１１と、映像表示部１２と、音声入出力プラグ１４に接続されたマイクロフォン１５及びイヤホン１６と、放送電波を受信する放送波受信部１００（放送波受信手段）と、無線電話回線で通話を行う電話通信部１１０（電話通信手段）と、放送波映像を映像表示部１２に表示可能な映像データに加工・変換処理する映像処理部１０４と、放送波受信部１００で受信した放送波音声と電話通信部１１０で受信した通話音声を合成して音声出力する音声合成部１０５（音声合成手段）とを備えて構成される。
【００２４】
放送波受信部１００は、ＲＦ処理部１０１、復調部１０２及びデコード部１０３から構成され、電話通信部１１０は、ＲＦ処理部１１１及び通話処理部１１２から構成される。
アンテナ１１Ｂは、外部から電波を受信して電話通信部１１０に出力する。
【００２５】
電話通信部１１０は、信号の拡散や変調・復調、フィルタリング等の処理を行う。電話通信部１１０は、変調についての図示は省略するが、マイクロフォン１５から入力された音声信号を送受信無線周波数（ＲＦ）に変調してアンテナ１１Ｂから輻射する送信機としての機能を有する。なお、電話通信部１１０は、携帯電話用であるが、専用の無線通信システムにすることも、Ｂｌｕｅｔｏｏｔｈのような汎用的な無線通信システムにすることも可能である。
【００２６】
放送波受信部１００は、電話通信部１１０とは使用周波数帯や変調方式等が異なるため別個の無線制御部を設ける必要がある。放送波受信部１００は、放送電波を受信するための機能部であり、アンテナ１１Ａにより受信した送受信無線周波数（ＲＦ）帯の信号を受信するＲＦ処理部１０１、ＲＦ処理部１０１により無線受信された信号を復調する復調部１０２、復調された信号をデコードするデコード部１０３等からなる。
アンテナ１１Ａとアンテナ１１Ｂは、放送波受信部１００と電話通信部１１０別個に設けることが好ましいが兼用することも可能である。
【００２７】
音声合成部１０５は、放送波受信部１００で受信した放送波音声と電話通信部１１０で受信した通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整し合成する。具体的な調整方法としては、音声合成部１０５は、優先する音声の音量を検出し、その音量に応じて他方の音量を調整し合成する。また、受信通話音声の音量を検出し、受信通話音声の検出部分では受信通話音声を優先し、受信通話音声の間欠部分では放送波音声を優先し合成する。あるいは、特定の周波数帯域では通話音声を優先し、それ以外の周波数帯域では放送波音声を優先し合成する。
【００２８】
また、音声合成部１０５は、放送受信部１００から受け取った放送波音声信号及び電話通信部１１０から受け取ったＰＣＭデータを音声信号に変換してイヤホン１６から出力する。音声合成部１０５は、イヤホン１６とつなぐことで、音声信号の出力を行う。なお、本実施の形態では、音声合成部１０５の出力はイヤホン１６であるが、スピーカであってもよい。
【００２９】
以下、上述のように構成された携帯電話装置の動作を説明する。
放送波受信部１００では、放送電波をアンテナ１１ＡとＲＦ処理部１０１で受信する。その後、例えば地上デジタル放送の場合、復調部１０２によりＯＦＤＭ復調し、デコード部１０３でデコード処理を行って放送波映像と放送波音声を復元する。復元された放送波映像は、映像表示処理部１０４に出力され、映像表示処理部１０４では、携帯端末装置１０の映像表示部１２に表示可能な映像データに加工・変換処理する。表示処理された映像データは、映像表示部１２に出力され、映像表示部１２に表示される。また、放送波音声は、音声合成部１０５に出力される。
【００３０】
一方、電話通信部１１０では、通信電波をアンテナ１１ＢとＲＦ処理部１１１で受信し、通話処理部２１１に出力する。通話処理部２１１は、受信した受信通話音声を音声合成部１０５に出力するとともに、マイクロフォン１５から入力された入力音声を送信するためＲＦ処理部１１１に出力する。
【００３１】
図３は、音声合成部１０５の音声合成処理を説明する波形図であり、音量を縦軸、時間を横軸とし、通信音声と放送波音声をどのように合成するかを示す。
ここで、本実施の形態における音量とは、受信した音声信号の音声レベルを示し、例えばデシベルなどの単位で定量化されるものである。なお、放送波受信部１００と電話通信部１１０にアンプを備え所定の増幅率で増幅された音声信号の音量を適用することも可能である。
【００３２】
図３の受信通話音声３１に示すように、受信通話音声３１は常に音声を受信しているのではなく無音時間帯（音量が無い、すなわち使用者が話している時間）がある。音声合成部１０５は、受信通話音声が有音である時間を検出し、その時間帯の放送波音声の音量を無音にする。この処理を行った放送波音声を放送波音声（処理後）３３に示す。処理された放送波音声３３と受信通話音声３１とを合成した合成音声３４をイヤホン１６に出力する。本実施の形態では、通話音声を優先して受信通話音声が有音である時間帯の放送波音声の音量を無音とする処理を説明したが、放送波音声を優先して、放送波音声の音量が小さい時ときのみ通話音声を出力するといった変更も可能である。
【００３３】
以上のように、本実施の形態の携帯電話装置１０は、イヤホン１６と、放送電波を受信する放送波受信部１００と、無線電話回線で通話を行う電話通信部１１０と、放送波受信部１００で受信した放送波音声と電話通信部１１０で受信した通話音声を合成して音声出力する音声合成部１０５とを備え、音声合成部１０５は、放送波受信部１００で受信した放送波音声と電話通信部１１０で受信した通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整し合成するので、人間の聴覚特性である時間マスキング効果を考慮して放送波音声と通話音声の音量が適切に合成され、従来例と比較して容易に両方を聞き取ることができる。
【００３４】
ここで、音声合成部１０５は、優先する音声の音量を検出し、その音量に応じて他方の音量を調整し合成するように構成すれば、より一層聞き取りたい音声を視聴者が選択することができる。
また、受信通話音声の音量を検出し、受信通話音声の検出部分では受信通話音声を優先し、受信通話音声の間欠部分では放送波音声を優先し合成するように構成すれば、相手先からの受信通話音声は常に聞き取れ、放送波音声も間欠的に聞き取ることが可能となり、結果的に放送を視聴しながら電話をすることができる。
【００３５】
音声合成部１０５における音声合成の他の処理について、図４を用いて説明する。
図４は、音声合成部１０５の別の音声合成処理を説明する波形図であり、横軸を周波数、縦軸を強度（スペクトル強度）として、通信音声４１と放送波音声４２をどのように合成するかを示す。
【００３６】
図４中の破線に挟まれている周波数帯４３は、人間が通常の会話で発する音声の周波数帯（一般的に１００Ｈｚから９００Ｈｚ）を示しており、通話音声ではこの周波数帯４３が最もよく使用される。本音声合成処理では、通話音声４１の周波数帯４３以外の周波数帯の強度を下げ、一方放送波音声４２の周波数帯４３の強度を下げて合成する。処理後の合成音声を合成音声４４に示す。
【００３７】
この音声合成処理により、ユーザが放送を視聴している時でも電話通話を行うことが可能な携帯電話装置が実現可能となる。すなわち、音声合成部１０５が人間の音声の周波数帯域４３では通話音声を優先し、それ以外の周波数帯域では放送波音声を優先し合成することで、通話音声すなわち人間の会話音声は常に聞き取れ、放送波音声も通話音声の周波数帯４３以外の部分であるＢＧＭや効果音が聞き取ることが可能となり、結果的に放送を視聴しながら電話できる携帯電話装置を提供可能となる。
【００３８】
このように、本実施の形態では、音声合成部１０５が音声の音量、周波数に応じて音声を調整し合成するので、ユーザが放送を視聴している時でも電話通話を行うことができる。すなわち、音声合成部１０５で受信通話音声が無音の時間帯は放送波音声を出力するように音声合成するため、受信通話音声は常に聞き取れ、放送波音声も間欠的に聞き取ることが可能となる。
【００３９】
第２の実施の形態
図５は、本発明の第２の実施の形態の携帯端末装置の外観を示す図、図６は、その携帯電話装置の機能を示す機能ブロック図である。本実施の形態の説明にあたり、図１及び図２と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【００４０】
図５において、携帯電話装置１０の本体１０ｂは、音声出力装置としてイヤホン１６の他にスピーカ２０（音声出力手段）を備えている。このスピーカ２０は、携帯電話装置１０が受話を行うための拡声用スピーカであってもよい。
【００４１】
また、図６において、本実施の形態の携帯電話装置１０は、図２の音声合成部１０５に代えて、２つの音声出力装置（イヤホン１６，スピーカ２０）の音声出力選択処理を行う音声出力選択部２１（音声出力選択手段）を備えている。
【００４２】
音声出力選択部２１は、放送波受信部１００が受信した放送波音声と電話通信部１１０が受信した通話音声を前記複数の音声出力に選択的に出力する。この場合、音声出力選択部２１は、放送波音声と通話音声に加え、電話着信音を複数の音声出力に選択的に出力することもできる。
図７は、上記音声出力選択部２１の音声選択動作を説明する状態遷移図である。
【００４３】
音声出力選択部２１は、通話音声の有無により、放送波音声の出力先をイヤホン１６又はスピーカ２０のいずれかに変更する。図７の番号７１は使用者が放送を視聴している状態であり、放送波音声はイヤホン１６に出力され、通話音声は受信していない。この状態で電話着信があり、視聴者が電話通話を開始すると、音声出力選択部２１により図７の番号７２の状態に自動的に遷移する。状態７２では、放送波音声はスピーカ２０に、通話音声はイヤホン１６に出力される。さらに通話が終了すると元の状態７１に自動的に遷移する。
【００４４】
この構成によって放送波音声と通話音声を異なる音声出力装置から選択的に出力することができ、両方の音声を容易に聞き取ることが実現可能となる。
なお、本実施の形態では２つの音声出力装置としてイヤホン１６とスピーカ２０を備えた構成を説明したが、音声出力装置としてイヤホンを２つ以上備える構成やスピーカを２つ以上備える構成も可能である。
【００４５】
また、図７に示した状態（７１、７２）における出力選択には様々な変更が可能である。例えば、状態７１にて使用者が放送波音声をスピーカ２０で視聴中に電話通話を開始した場合、放送波音声をイヤホン１６、通話音声をスピーカ２０に出力する状態７２に遷移する動作も可能である。放送波音声を優先して聞きたい時などは、イヤホン１６からの音声のほうが聞き取り易いためこの動作が有効である。また、状態７１にて使用者が放送波音声をスピーカ２０で視聴中に電話通話を開始する場合、放送波音声はそのままスピーカ２０に、通話音声をイヤホン１６に出力する状態７２に遷移する動作も可能である。放送を多人数で視聴している時などは、放送波音声がそのままスピーカ２０で全員が視聴できるため、この動作が有効である。
さらに、電話着信音の出力を考慮にいれた選択動作も可能である。
【００４６】
図８は、音声出力選択部２１の他の音声選択動作を説明する状態遷移図である。
図８に示すように、使用者が放送波音声をイヤホン１６で視聴している状態８１で電話着信した場合、着信音をイヤホン１６から出力し、放送波音声はスピーカ２０から出力する状態８２に遷移する。その後、通話が開始されない、すなわち使用者が電話にでない場合は状態８１に戻り、通話が開始された場合は放送波音声をスピーカ２０に、通話音声をイヤホン１６に出力する状態８３に自動的に遷移する。その後、通話が終了すると元の状態８１に自動的に遷移する。本動作のように着信音を考慮して出力選択を行うことにより、着信音を聞き逃すことがなくなるため使用者の利便性が向上する。
【００４７】
このように、本実施の形態では、異なる音声出力部から各々の音声が出力されるため、両方の音声を聞き取りやすくする。また、放送視聴中に着信があった場合でも着信音を聞き逃すことがなくなり、使用者の利便性が向上する。
【００４８】
第３の実施の形態
図９は、本発明の第３の実施の形態の携帯端末装置の機能を示す機能ブロック図である。本実施の形態の説明にあたり、図２と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【００４９】
図９において、本実施の形態の携帯電話装置は、放送波受信部１００が放送電波から映像と音声の他に文字放送のデータを受信することが可能である。
また、図２の音声合成部１０５に代えて、電話通信部１１０での通話の有無に応じて放送波音声出力と文字データ表示を自動的に切り替える音声出力制御部２２（音声出力制御手段）を備えている。
【００５０】
図１０は、映像表示部１２に表示される文字データ表示画面を示す図である。
放送波受信部１００で受信、複調、デコードされた音声文字データは、放送波音声と共に音声出力制御部２２に送られる。ここで、本実施の形態で取り扱う文字放送は、放送電波に多重されて送信されるものであり、具体的には聴覚障害を持った視聴者にも放送波音声の内容を理解できるように、放送波音声を画面に表示する音声文字データ放送等である。この音声文字データは、図１０に示すように、映像表示部１２の放送映像表示画面９１の一部分９２に表示される。その表示方法は、図１０に示す方法に限られるものでなく、例えば放送映像表示画面９１内にスーパーインポーズすることも可能である。
【００５１】
音声出力制御部２２の動作について説明する。
音声出力制御部２２は、通話音声の有無により、放送波音声の出力方法をイヤホン１６と文字表示のいずれかに変更する。具体的には、放送受信視聴者が放送波音声をイヤホン１６で聞いている時に電話通話が開始されると、放送波音声を文字表示とし、通話音声をイヤホン１６から出力するように自動的に変更する。その後、電話が終了した時に放送波音声をイヤホン１６から出力するように自動的に変更する。
【００５２】
このように、本実施の形態では、放送波音声は視覚情報として、通話音声は聴覚情報として別々に理解することが可能となり、両方の内容を理解することができる。
なお、本発明の携帯端末装置は、上述の各実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、携帯端末装置として携帯電話装置等の移動端末としているが、携帯電話に限らず情報機器機能を持った又はその融合された装置やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）に適用可能である。また、データ送受信のできる装置として、パソコンに代表される情報機器機能に融合された装置であってもよく、全てのシステムに適用可能である。また、放送電波の内容はどのようなものであってもよい。
【００５３】
また、上記携帯端末装置を構成する各処理部等の種類、音量、音声レベル、周波数の種類・形式などは前述した各実施形態に限られない。
また、本実施の形態では携帯端末装置という名称を用いたが、これは説明の便宜上であり、音声情報制御装置、通信端末装置等であってもよい。
さらに、携帯端末装置に用いられる移動通信方式は、ＴＤＭＡ方式、ＣＤＭＡ方式等どのような方式でもよく、また、電話回線は、無線に限らず有線によるものでもよい。
【００５４】
以上説明した携帯端末装置は、この携帯端末装置を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、メインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはＣＰＵがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【００５５】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の光ディスクのディスク系、ＩＣカード／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００５６】
さらに、図示されていないが、外部の通信ネットワークとの接続が可能な手段を備えている場合には、その通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【００５７】
【発明の効果】
以上、詳述したように、本発明によれば、複数の音声情報を聞き取ることができ、放送を視聴しながら電話通信をすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の携帯端末装置の外観を示す図である。
【図２】本実施の形態の携帯端末装置の機能を示す機能ブロック図である。
【図３】本実施の形態の携帯端末装置の音声合成部の音声合成処理を説明する波形図である。
【図４】本実施の形態の携帯端末装置の音声合成部の別の音声合成処理を説明する波形図である。
【図５】本発明の第２の実施の形態の携帯端末装置の外観を示す図である。
【図６】本実施の形態の携帯端末装置の機能を示す機能ブロック図である。
【図７】本実施の形態の携帯端末装置の音声出力選択部の音声選択動作を説明する状態遷移図である。
【図８】本実施の形態の携帯端末装置の音声出力選択部の他の音声選択動作を説明する状態遷移図である。
【図９】本発明の第３の実施の形態の携帯端末装置の機能を示す機能ブロック図である。
【図１０】本実施の形態の携帯端末装置の映像表示部に表示される文字データ表示画面を示す図である。
【符号の説明】
１０ 携帯電話装置（携帯端末装置）
１０ａ，１０ｂ 本体
１１，１１Ａ，１１Ｂ アンテナ
１２ 映像表示部
１３ 操作ボタン
１４ 音声入出力プラグ
１５ マイクロフォン（音声出力手段）
１６ イヤホン（音声出力手段）
１７ イヤホンマイク
２０ スピーカ（音声出力手段）
２１ 音声出力選択部（音声出力選択手段）
２２ 音声出力制御部（音声出力制御手段）
３１ 受信通話音声
３２ 放送波音声
３３ 放送波音声（処理後）
３４ 合成音声
４１ 通話音声
４２ 放送波音声
４３ 人間の会話の周波数帯
４４ 合成音声、
７１ 放送視聴（初期）状態
７２ 通話中の状態、
８１ 放送視聴（初期）状態
８２ 着信状態
８３ 通話中の状態、
９１ 放送映像
９２ 文字表示
１００ 放送波受信部（放送波受信手段）
１０１ ＲＦ処理部
１０２ 復調部
１０３ デコード部
１０４ 映像処理部
１０５ 音声合成部（音声合成手段）
１１０ 電話通信部（電話通信手段）
１１１ ＲＦ処理部
１１２ 通話処理部
【発明の属する技術分野】
本発明は、地上デジタル放送などの放送波を受信し表示可能な携帯電話装置等の携帯端末装置及び音声制御プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
現在のアナログ放送に代わる新しい放送方式である地上デジタル放送の準備が進んでいる。この地上デジタル放送の技術規格ＩＳＤＢ−Ｔ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ−Ｔｅｒｒｅｓｔｒｉａｌ）では、変調方式に多数の搬送波（キャリア）を使うＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘ：直交波周波数分割多重）が採用され、ビルによる反射など複数の伝播経路（マルチパス）による妨害が抑制可能となっている。さらに、ＩＳＤＢ−Ｔは移動体への安定した受信が可能となることが大きな特徴の一つとして挙げられており、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）などの移動体端末向けの放送サービスに大きな期待が寄せられている。携帯電話装置の機能向上は目覚しいスピードで進展しており、近い将来には上記地上デジタル放送の受信が可能な携帯電話が開発され、携帯電話で放送を視聴しながら電話をすることも可能になると予想される。
【０００３】
ところで、携帯電話で放送を視聴しながら電話をするには、放送波音声と通話音声の２つの音声を取り扱わなくてはいけないといった課題がある。この課題に関して、特許文献１には、放送の音声と通信音声を足し合わせイヤホンに出力する携帯式音声情報取扱装置が開示されている。この特許文献１によると、ラジオや放送を視聴している時に電話がかかってきた時は、通話音声の音量を自動的に上げ、放送波音声を自動的に下げて足し合わせることで、使用者は特に切り替え操作を要せずに通話の相手先の音声を聞き取ることができるとしている。
【特許文献１】
特開平１１−２７７８７号公報（図１）
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の携帯端末装置にあっては、以下のような課題を有している。
例えば、人間の聴覚特性には同じ時刻に２つの音声が出力された時、大きな音によって小さな音が遮られるといった時間マスキング効果や、ほぼ同じ周波数の音声によって他の音声が遮られる周波数マスキング効果が知られている。上記特許文献１に記載の装置では、単に電話通話音声の音量を自動的に上げ、電波受信音声を自動的に下げるものであり、足し合わせた音声出力は、時間マスキング効果により通話音声しか聞き取れない状態となり、放送を視聴しながら電話するには不十分である。また、特許文献１では放送波音声と通話音声の音量を個別に調整可能とすることで必要に応じて両者を区別して聞くことが可能となるとしているが、個別の音量調整を適切に設定しないと周波数マスキング効果により２つの音声が混同して聞こえ、両方の音声内容が聞き取れなくなる可能性が高い。
【０００５】
本発明は、このような課題に鑑みてなされたものであって、複数の音声情報を聞き取ることができ、放送を視聴しながら電話できる携帯電話装置を実現することができる携帯端末装置及び音声制御プログラムを記録した記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の携帯端末装置は、放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、前記放送波受信手段が受信した放送波音声と前記電話通信手段が受信した通話音声を合成して音声出力する音声合成手段を備え、前記音声合成手段は、前記放送波音声と前記通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整して音声合成することを特徴としている。
【０００７】
このように構成された本発明の携帯端末装置は、人間の聴覚特性である時間マスキング効果を考慮して放送波音声と通話音声の音量が適切に合成され、容易に両方を聞き取ることが可能となる。
前記音声合成手段は、前記放送波音声と前記通話音声のうち、優先する音声の音量を検出し、その音量に応じて他方の音量を調整して音声合成することで、より一層聞き取りたい音声を視聴者が選択することが可能となる。
【０００８】
前記音声合成手段は、前記通話音声の音量を検出し、該通話音声の検出部分では通話音声を優先し、該通話音声の間欠部分では前記放送波音声を優先して音声合成することで、相手先からの受信通話音声は常に聞き取れ、放送波音声も間欠的に聞き取ることが可能となり、放送を視聴しながら電話が可能となる。
【０００９】
より好ましくは、前記音声合成手段は、前記通話音声が有音である時間を検出し、その時間帯の前記放送波音声の音量を無音にするとともに、該無音にした放送波音声と前記有音である通話音声とを音声合成するものであってもよい。
【００１０】
また、前記音声合成手段は、特定の周波数帯域では前記通話音声を優先し、それ以外の周波数帯域では前記放送波音声を優先して音声合成することで、通話音声すなわち会話音声は常に聞き取ることができ、放送波音声も通話音声の周波数帯以外のＢＧＭや効果音を聞き取ることが可能となり、結果的に放送を視聴しながら電話が可能となる。
【００１１】
本発明の携帯端末装置は、放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、複数の音声出力手段と、前記放送波受信手段が受信した放送波音声と前記電話通信手段が受信した通話音声を、前記複数の音声出力手段に選択的に出力する音声出力選択手段とを備えることを特徴としている。
【００１２】
このように構成された本発明の携帯端末装置は、例えば放送波音声をイヤホンで聞いている時に電話着信があると、自動的に放送波音声をスピーカ出力として通話音声をイヤホンで出力することが可能であり、異なる音声出力部から各々の音声が出力されるため、両方の音声を聞き取りやすくする。
【００１３】
前記音声出力選択手段は、前記放送波音声と前記通話音声に加え、電話着信音を前記複数の音声出力手段に選択的に出力することで、放送視聴中に着信があった場合でも着信音を聞き逃すことがなくなり、携帯端末装置使用者の利便性が向上する。
【００１４】
本発明の携帯端末装置は、放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、前記放送波受信手段は、文字データ放送の受信表示が可能であり、前記電話通信手段における通話の有無に応じて放送波音声出力と文字データ表示とを切り替える音声出力制御手段を備えることを特徴としている。
【００１５】
このように構成された本発明の携帯端末装置は、例えば放送波音声を視聴している時に電話着信があると、自動的に放送波音声の文字放送を表示に自動的に切り替えることが可能となり、放送波音声は視覚情報として、通話音声は聴覚情報として両方の内容を理解することが可能となる。
【００１６】
また、本発明は、放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、前記放送波受信手段が受信した放送波音声と前記電話通信手段が受信した通話音声を合成して音声出力する音声合成手段を備え、前記音声合成手段は、前記放送波音声と前記通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整して音声合成する携帯端末装置として機能させるためのプログラムである。
【００１７】
さらに、本発明は、放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、前記放送波受信手段が受信した放送波音声と前記電話通信手段が受信した通話音声を合成して音声出力する音声合成手段を備え、前記音声合成手段は、前記放送波音声と前記通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整して音声合成する携帯端末装置として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体である。
【００１８】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適な携帯端末装置の実施の形態について詳細に説明する。
【００１９】
第１の実施の形態
図１は、本発明の第１の実施の形態の携帯端末装置の外観を示す図である。本実施の形態の携帯端末装置は、携帯電話装置／ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−Ｐｈｏｎｅ Ｓｙｓｔｅｍ）の携帯通信端末に適用した例である。
【００２０】
図１において、１０は、携帯電話装置（携帯端末装置）であり、携帯電話装置１０本体１０ａは、無線通信を行うためのアンテナ１１、操作のためのガイダンスや受信情報，画像やテキスト情報などの情報を表示するＬＣＤ等からなる映像表示部１２、着信，発信，電話機能切り替え，動作決定等を行う電話機能キー，各種機能を切り替えるためのモードキー、上下左右の方向に選択対象を移動させるカーソルキー，電話番号の入力等をダイヤルするためのダイヤルキーなどからなる操作ボタン１３、及び音声入出力プラグ１４を備えて構成される。
【００２１】
音声入出力プラグ１４には、音声入力装置であるマイクロフォン１５と、音声出力装置であるイヤホン１６（音声出力手段）を有するイヤホンマイク１７とが接続されている。放送波を視聴する時、使用者はイヤホン１６を装着し、放送音声を聞きながら、映像表示部１２に表示される映像を見る。
【００２２】
映像表示部１２は、ドットマトリクス構成の液晶ディスプレイ，バックライト及び各ドライバ等で構成される。映像表示部１２には、映像情報が表示され、また、非電話機能のための各種画面、電話機能の動作状態を示すアイコン等が表示される。さらに、待機時には時刻が表示され、個人情報やシステムの状態などを表示する。
【００２３】
図２は、上記携帯電話装置１０の機能を示す機能ブロック図である。
図２において、携帯電話装置１０は、放送電波を受信するアンテナ１１Ａ及び電話電波を受信するアンテナ１１Ｂからなるアンテナ１１と、映像表示部１２と、音声入出力プラグ１４に接続されたマイクロフォン１５及びイヤホン１６と、放送電波を受信する放送波受信部１００（放送波受信手段）と、無線電話回線で通話を行う電話通信部１１０（電話通信手段）と、放送波映像を映像表示部１２に表示可能な映像データに加工・変換処理する映像処理部１０４と、放送波受信部１００で受信した放送波音声と電話通信部１１０で受信した通話音声を合成して音声出力する音声合成部１０５（音声合成手段）とを備えて構成される。
【００２４】
放送波受信部１００は、ＲＦ処理部１０１、復調部１０２及びデコード部１０３から構成され、電話通信部１１０は、ＲＦ処理部１１１及び通話処理部１１２から構成される。
アンテナ１１Ｂは、外部から電波を受信して電話通信部１１０に出力する。
【００２５】
電話通信部１１０は、信号の拡散や変調・復調、フィルタリング等の処理を行う。電話通信部１１０は、変調についての図示は省略するが、マイクロフォン１５から入力された音声信号を送受信無線周波数（ＲＦ）に変調してアンテナ１１Ｂから輻射する送信機としての機能を有する。なお、電話通信部１１０は、携帯電話用であるが、専用の無線通信システムにすることも、Ｂｌｕｅｔｏｏｔｈのような汎用的な無線通信システムにすることも可能である。
【００２６】
放送波受信部１００は、電話通信部１１０とは使用周波数帯や変調方式等が異なるため別個の無線制御部を設ける必要がある。放送波受信部１００は、放送電波を受信するための機能部であり、アンテナ１１Ａにより受信した送受信無線周波数（ＲＦ）帯の信号を受信するＲＦ処理部１０１、ＲＦ処理部１０１により無線受信された信号を復調する復調部１０２、復調された信号をデコードするデコード部１０３等からなる。
アンテナ１１Ａとアンテナ１１Ｂは、放送波受信部１００と電話通信部１１０別個に設けることが好ましいが兼用することも可能である。
【００２７】
音声合成部１０５は、放送波受信部１００で受信した放送波音声と電話通信部１１０で受信した通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整し合成する。具体的な調整方法としては、音声合成部１０５は、優先する音声の音量を検出し、その音量に応じて他方の音量を調整し合成する。また、受信通話音声の音量を検出し、受信通話音声の検出部分では受信通話音声を優先し、受信通話音声の間欠部分では放送波音声を優先し合成する。あるいは、特定の周波数帯域では通話音声を優先し、それ以外の周波数帯域では放送波音声を優先し合成する。
【００２８】
また、音声合成部１０５は、放送受信部１００から受け取った放送波音声信号及び電話通信部１１０から受け取ったＰＣＭデータを音声信号に変換してイヤホン１６から出力する。音声合成部１０５は、イヤホン１６とつなぐことで、音声信号の出力を行う。なお、本実施の形態では、音声合成部１０５の出力はイヤホン１６であるが、スピーカであってもよい。
【００２９】
以下、上述のように構成された携帯電話装置の動作を説明する。
放送波受信部１００では、放送電波をアンテナ１１ＡとＲＦ処理部１０１で受信する。その後、例えば地上デジタル放送の場合、復調部１０２によりＯＦＤＭ復調し、デコード部１０３でデコード処理を行って放送波映像と放送波音声を復元する。復元された放送波映像は、映像表示処理部１０４に出力され、映像表示処理部１０４では、携帯端末装置１０の映像表示部１２に表示可能な映像データに加工・変換処理する。表示処理された映像データは、映像表示部１２に出力され、映像表示部１２に表示される。また、放送波音声は、音声合成部１０５に出力される。
【００３０】
一方、電話通信部１１０では、通信電波をアンテナ１１ＢとＲＦ処理部１１１で受信し、通話処理部２１１に出力する。通話処理部２１１は、受信した受信通話音声を音声合成部１０５に出力するとともに、マイクロフォン１５から入力された入力音声を送信するためＲＦ処理部１１１に出力する。
【００３１】
図３は、音声合成部１０５の音声合成処理を説明する波形図であり、音量を縦軸、時間を横軸とし、通信音声と放送波音声をどのように合成するかを示す。
ここで、本実施の形態における音量とは、受信した音声信号の音声レベルを示し、例えばデシベルなどの単位で定量化されるものである。なお、放送波受信部１００と電話通信部１１０にアンプを備え所定の増幅率で増幅された音声信号の音量を適用することも可能である。
【００３２】
図３の受信通話音声３１に示すように、受信通話音声３１は常に音声を受信しているのではなく無音時間帯（音量が無い、すなわち使用者が話している時間）がある。音声合成部１０５は、受信通話音声が有音である時間を検出し、その時間帯の放送波音声の音量を無音にする。この処理を行った放送波音声を放送波音声（処理後）３３に示す。処理された放送波音声３３と受信通話音声３１とを合成した合成音声３４をイヤホン１６に出力する。本実施の形態では、通話音声を優先して受信通話音声が有音である時間帯の放送波音声の音量を無音とする処理を説明したが、放送波音声を優先して、放送波音声の音量が小さい時ときのみ通話音声を出力するといった変更も可能である。
【００３３】
以上のように、本実施の形態の携帯電話装置１０は、イヤホン１６と、放送電波を受信する放送波受信部１００と、無線電話回線で通話を行う電話通信部１１０と、放送波受信部１００で受信した放送波音声と電話通信部１１０で受信した通話音声を合成して音声出力する音声合成部１０５とを備え、音声合成部１０５は、放送波受信部１００で受信した放送波音声と電話通信部１１０で受信した通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整し合成するので、人間の聴覚特性である時間マスキング効果を考慮して放送波音声と通話音声の音量が適切に合成され、従来例と比較して容易に両方を聞き取ることができる。
【００３４】
ここで、音声合成部１０５は、優先する音声の音量を検出し、その音量に応じて他方の音量を調整し合成するように構成すれば、より一層聞き取りたい音声を視聴者が選択することができる。
また、受信通話音声の音量を検出し、受信通話音声の検出部分では受信通話音声を優先し、受信通話音声の間欠部分では放送波音声を優先し合成するように構成すれば、相手先からの受信通話音声は常に聞き取れ、放送波音声も間欠的に聞き取ることが可能となり、結果的に放送を視聴しながら電話をすることができる。
【００３５】
音声合成部１０５における音声合成の他の処理について、図４を用いて説明する。
図４は、音声合成部１０５の別の音声合成処理を説明する波形図であり、横軸を周波数、縦軸を強度（スペクトル強度）として、通信音声４１と放送波音声４２をどのように合成するかを示す。
【００３６】
図４中の破線に挟まれている周波数帯４３は、人間が通常の会話で発する音声の周波数帯（一般的に１００Ｈｚから９００Ｈｚ）を示しており、通話音声ではこの周波数帯４３が最もよく使用される。本音声合成処理では、通話音声４１の周波数帯４３以外の周波数帯の強度を下げ、一方放送波音声４２の周波数帯４３の強度を下げて合成する。処理後の合成音声を合成音声４４に示す。
【００３７】
この音声合成処理により、ユーザが放送を視聴している時でも電話通話を行うことが可能な携帯電話装置が実現可能となる。すなわち、音声合成部１０５が人間の音声の周波数帯域４３では通話音声を優先し、それ以外の周波数帯域では放送波音声を優先し合成することで、通話音声すなわち人間の会話音声は常に聞き取れ、放送波音声も通話音声の周波数帯４３以外の部分であるＢＧＭや効果音が聞き取ることが可能となり、結果的に放送を視聴しながら電話できる携帯電話装置を提供可能となる。
【００３８】
このように、本実施の形態では、音声合成部１０５が音声の音量、周波数に応じて音声を調整し合成するので、ユーザが放送を視聴している時でも電話通話を行うことができる。すなわち、音声合成部１０５で受信通話音声が無音の時間帯は放送波音声を出力するように音声合成するため、受信通話音声は常に聞き取れ、放送波音声も間欠的に聞き取ることが可能となる。
【００３９】
第２の実施の形態
図５は、本発明の第２の実施の形態の携帯端末装置の外観を示す図、図６は、その携帯電話装置の機能を示す機能ブロック図である。本実施の形態の説明にあたり、図１及び図２と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【００４０】
図５において、携帯電話装置１０の本体１０ｂは、音声出力装置としてイヤホン１６の他にスピーカ２０（音声出力手段）を備えている。このスピーカ２０は、携帯電話装置１０が受話を行うための拡声用スピーカであってもよい。
【００４１】
また、図６において、本実施の形態の携帯電話装置１０は、図２の音声合成部１０５に代えて、２つの音声出力装置（イヤホン１６，スピーカ２０）の音声出力選択処理を行う音声出力選択部２１（音声出力選択手段）を備えている。
【００４２】
音声出力選択部２１は、放送波受信部１００が受信した放送波音声と電話通信部１１０が受信した通話音声を前記複数の音声出力に選択的に出力する。この場合、音声出力選択部２１は、放送波音声と通話音声に加え、電話着信音を複数の音声出力に選択的に出力することもできる。
図７は、上記音声出力選択部２１の音声選択動作を説明する状態遷移図である。
【００４３】
音声出力選択部２１は、通話音声の有無により、放送波音声の出力先をイヤホン１６又はスピーカ２０のいずれかに変更する。図７の番号７１は使用者が放送を視聴している状態であり、放送波音声はイヤホン１６に出力され、通話音声は受信していない。この状態で電話着信があり、視聴者が電話通話を開始すると、音声出力選択部２１により図７の番号７２の状態に自動的に遷移する。状態７２では、放送波音声はスピーカ２０に、通話音声はイヤホン１６に出力される。さらに通話が終了すると元の状態７１に自動的に遷移する。
【００４４】
この構成によって放送波音声と通話音声を異なる音声出力装置から選択的に出力することができ、両方の音声を容易に聞き取ることが実現可能となる。
なお、本実施の形態では２つの音声出力装置としてイヤホン１６とスピーカ２０を備えた構成を説明したが、音声出力装置としてイヤホンを２つ以上備える構成やスピーカを２つ以上備える構成も可能である。
【００４５】
また、図７に示した状態（７１、７２）における出力選択には様々な変更が可能である。例えば、状態７１にて使用者が放送波音声をスピーカ２０で視聴中に電話通話を開始した場合、放送波音声をイヤホン１６、通話音声をスピーカ２０に出力する状態７２に遷移する動作も可能である。放送波音声を優先して聞きたい時などは、イヤホン１６からの音声のほうが聞き取り易いためこの動作が有効である。また、状態７１にて使用者が放送波音声をスピーカ２０で視聴中に電話通話を開始する場合、放送波音声はそのままスピーカ２０に、通話音声をイヤホン１６に出力する状態７２に遷移する動作も可能である。放送を多人数で視聴している時などは、放送波音声がそのままスピーカ２０で全員が視聴できるため、この動作が有効である。
さらに、電話着信音の出力を考慮にいれた選択動作も可能である。
【００４６】
図８は、音声出力選択部２１の他の音声選択動作を説明する状態遷移図である。
図８に示すように、使用者が放送波音声をイヤホン１６で視聴している状態８１で電話着信した場合、着信音をイヤホン１６から出力し、放送波音声はスピーカ２０から出力する状態８２に遷移する。その後、通話が開始されない、すなわち使用者が電話にでない場合は状態８１に戻り、通話が開始された場合は放送波音声をスピーカ２０に、通話音声をイヤホン１６に出力する状態８３に自動的に遷移する。その後、通話が終了すると元の状態８１に自動的に遷移する。本動作のように着信音を考慮して出力選択を行うことにより、着信音を聞き逃すことがなくなるため使用者の利便性が向上する。
【００４７】
このように、本実施の形態では、異なる音声出力部から各々の音声が出力されるため、両方の音声を聞き取りやすくする。また、放送視聴中に着信があった場合でも着信音を聞き逃すことがなくなり、使用者の利便性が向上する。
【００４８】
第３の実施の形態
図９は、本発明の第３の実施の形態の携帯端末装置の機能を示す機能ブロック図である。本実施の形態の説明にあたり、図２と同一構成部分には同一符号を付して重複箇所の説明を省略する。
【００４９】
図９において、本実施の形態の携帯電話装置は、放送波受信部１００が放送電波から映像と音声の他に文字放送のデータを受信することが可能である。
また、図２の音声合成部１０５に代えて、電話通信部１１０での通話の有無に応じて放送波音声出力と文字データ表示を自動的に切り替える音声出力制御部２２（音声出力制御手段）を備えている。
【００５０】
図１０は、映像表示部１２に表示される文字データ表示画面を示す図である。
放送波受信部１００で受信、複調、デコードされた音声文字データは、放送波音声と共に音声出力制御部２２に送られる。ここで、本実施の形態で取り扱う文字放送は、放送電波に多重されて送信されるものであり、具体的には聴覚障害を持った視聴者にも放送波音声の内容を理解できるように、放送波音声を画面に表示する音声文字データ放送等である。この音声文字データは、図１０に示すように、映像表示部１２の放送映像表示画面９１の一部分９２に表示される。その表示方法は、図１０に示す方法に限られるものでなく、例えば放送映像表示画面９１内にスーパーインポーズすることも可能である。
【００５１】
音声出力制御部２２の動作について説明する。
音声出力制御部２２は、通話音声の有無により、放送波音声の出力方法をイヤホン１６と文字表示のいずれかに変更する。具体的には、放送受信視聴者が放送波音声をイヤホン１６で聞いている時に電話通話が開始されると、放送波音声を文字表示とし、通話音声をイヤホン１６から出力するように自動的に変更する。その後、電話が終了した時に放送波音声をイヤホン１６から出力するように自動的に変更する。
【００５２】
このように、本実施の形態では、放送波音声は視覚情報として、通話音声は聴覚情報として別々に理解することが可能となり、両方の内容を理解することができる。
なお、本発明の携帯端末装置は、上述の各実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、携帯端末装置として携帯電話装置等の移動端末としているが、携帯電話に限らず情報機器機能を持った又はその融合された装置やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）に適用可能である。また、データ送受信のできる装置として、パソコンに代表される情報機器機能に融合された装置であってもよく、全てのシステムに適用可能である。また、放送電波の内容はどのようなものであってもよい。
【００５３】
また、上記携帯端末装置を構成する各処理部等の種類、音量、音声レベル、周波数の種類・形式などは前述した各実施形態に限られない。
また、本実施の形態では携帯端末装置という名称を用いたが、これは説明の便宜上であり、音声情報制御装置、通信端末装置等であってもよい。
さらに、携帯端末装置に用いられる移動通信方式は、ＴＤＭＡ方式、ＣＤＭＡ方式等どのような方式でもよく、また、電話回線は、無線に限らず有線によるものでもよい。
【００５４】
以上説明した携帯端末装置は、この携帯端末装置を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、メインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはＣＰＵがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
【００５５】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等の光ディスクのディスク系、ＩＣカード／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００５６】
さらに、図示されていないが、外部の通信ネットワークとの接続が可能な手段を備えている場合には、その通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【００５７】
【発明の効果】
以上、詳述したように、本発明によれば、複数の音声情報を聞き取ることができ、放送を視聴しながら電話通信をすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の携帯端末装置の外観を示す図である。
【図２】本実施の形態の携帯端末装置の機能を示す機能ブロック図である。
【図３】本実施の形態の携帯端末装置の音声合成部の音声合成処理を説明する波形図である。
【図４】本実施の形態の携帯端末装置の音声合成部の別の音声合成処理を説明する波形図である。
【図５】本発明の第２の実施の形態の携帯端末装置の外観を示す図である。
【図６】本実施の形態の携帯端末装置の機能を示す機能ブロック図である。
【図７】本実施の形態の携帯端末装置の音声出力選択部の音声選択動作を説明する状態遷移図である。
【図８】本実施の形態の携帯端末装置の音声出力選択部の他の音声選択動作を説明する状態遷移図である。
【図９】本発明の第３の実施の形態の携帯端末装置の機能を示す機能ブロック図である。
【図１０】本実施の形態の携帯端末装置の映像表示部に表示される文字データ表示画面を示す図である。
【符号の説明】
１０ 携帯電話装置（携帯端末装置）
１０ａ，１０ｂ 本体
１１，１１Ａ，１１Ｂ アンテナ
１２ 映像表示部
１３ 操作ボタン
１４ 音声入出力プラグ
１５ マイクロフォン（音声出力手段）
１６ イヤホン（音声出力手段）
１７ イヤホンマイク
２０ スピーカ（音声出力手段）
２１ 音声出力選択部（音声出力選択手段）
２２ 音声出力制御部（音声出力制御手段）
３１ 受信通話音声
３２ 放送波音声
３３ 放送波音声（処理後）
３４ 合成音声
４１ 通話音声
４２ 放送波音声
４３ 人間の会話の周波数帯
４４ 合成音声、
７１ 放送視聴（初期）状態
７２ 通話中の状態、
８１ 放送視聴（初期）状態
８２ 着信状態
８３ 通話中の状態、
９１ 放送映像
９２ 文字表示
１００ 放送波受信部（放送波受信手段）
１０１ ＲＦ処理部
１０２ 復調部
１０３ デコード部
１０４ 映像処理部
１０５ 音声合成部（音声合成手段）
１１０ 電話通信部（電話通信手段）
１１１ ＲＦ処理部
１１２ 通話処理部
Claims (10)
- 放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、
前記放送波受信手段が受信した放送波音声と前記電話通信手段が受信した通話音声を合成して音声出力する音声合成手段を備え、
前記音声合成手段は、前記放送波音声と前記通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整して音声合成することを特徴とする携帯端末装置。 - 前記音声合成手段は、前記放送波音声と前記通話音声のうち、優先する音声の音量を検出し、その音量に応じて他方の音量を調整して音声合成することを特徴とする請求項１記載の携帯端末装置。
- 前記音声合成手段は、前記通話音声の音量を検出し、該通話音声の検出部分では通話音声を優先し、該通話音声の間欠部分では前記放送波音声を優先して音声合成することを特徴とする請求項１記載の携帯端末装置。
- 前記音声合成手段は、前記通話音声が有音である時間を検出し、その時間帯の前記放送波音声の音量を無音にするとともに、該無音にした放送波音声と前記有音である通話音声とを音声合成することを特徴とする請求項１乃至３のいずれか一項に記載の携帯端末装置。
- 前記音声合成手段は、特定の周波数帯域では前記通話音声を優先し、それ以外の周波数帯域では前記放送波音声を優先して音声合成することを特徴とする請求項１記載の携帯端末装置。
- 放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、
複数の音声出力手段と、
前記放送波受信手段が受信した放送波音声と前記電話通信手段が受信した通話音声を、前記複数の音声出力手段に選択的に出力する音声出力選択手段と
を備えることを特徴とする携帯端末装置。 - 前記音声出力選択手段は、前記放送波音声と前記通話音声に加え、電話着信音を前記複数の音声出力手段に選択的に出力することを特徴とする請求項６記載の携帯端末装置。
- 放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、
前記放送波受信手段は、文字データ放送の受信表示が可能であり、
前記電話通信手段における通話の有無に応じて放送波音声出力と文字データ表示とを切り替える音声出力制御手段を備えることを特徴とする携帯端末装置。 - 放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、前記放送波受信手段が受信した放送波音声と前記電話通信手段が受信した通話音声を合成して音声出力する音声合成手段を備え、前記音声合成手段は、前記放送波音声と前記通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整して音声合成する携帯端末装置として機能させるためのプログラム。
- 放送波を受信する放送波受信手段と、電話回線により通話する電話通信手段とを備える携帯端末装置において、前記放送波受信手段が受信した放送波音声と前記電話通信手段が受信した通話音声を合成して音声出力する音声合成手段を備え、前記音声合成手段は、前記放送波音声と前記通話音声のうち、少なくとも一方の音声の音量を検出し、その音量に応じて各々の音量を調整して音声合成する携帯端末装置として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002306560A JP2004146894A (ja) | 2002-10-22 | 2002-10-22 | 携帯端末装置及び音声制御プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002306560A JP2004146894A (ja) | 2002-10-22 | 2002-10-22 | 携帯端末装置及び音声制御プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004146894A true JP2004146894A (ja) | 2004-05-20 |
Family
ID=32453271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002306560A Pending JP2004146894A (ja) | 2002-10-22 | 2002-10-22 | 携帯端末装置及び音声制御プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004146894A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006166414A (ja) * | 2004-11-10 | 2006-06-22 | Sharp Corp | 通信装置 |
| JP2006174093A (ja) * | 2004-12-16 | 2006-06-29 | Sanyo Electric Co Ltd | 通信方法および装置 |
| JP2006203398A (ja) * | 2005-01-19 | 2006-08-03 | Sanyo Electric Co Ltd | 出力先切替方法およびそれを利用した通信装置 |
| JP2006211435A (ja) * | 2005-01-28 | 2006-08-10 | Kyocera Corp | 携帯端末 |
| JP2006303721A (ja) * | 2005-04-18 | 2006-11-02 | Nec Corp | 通話内容隠蔽システム、通話装置、通話内容隠蔽方法およびプログラム |
| JP2007049358A (ja) * | 2005-08-09 | 2007-02-22 | Casio Hitachi Mobile Communications Co Ltd | 携帯端末装置及びプログラム |
| JP2007235767A (ja) * | 2006-03-03 | 2007-09-13 | Casio Hitachi Mobile Communications Co Ltd | 携帯電話装置及びプログラム |
| JP2007300301A (ja) * | 2006-04-28 | 2007-11-15 | Sharp Corp | 通信装置、プログラムおよび受信音声出力方法 |
| JP2008172579A (ja) * | 2007-01-12 | 2008-07-24 | Brother Ind Ltd | 通信装置 |
| JPWO2007060829A1 (ja) * | 2005-11-22 | 2009-05-07 | シャープ株式会社 | 携帯電話機 |
| WO2011039884A1 (ja) * | 2009-10-01 | 2011-04-07 | 富士通株式会社 | 音声通話装置 |
| JP2012075039A (ja) * | 2010-09-29 | 2012-04-12 | Sony Corp | 制御装置、および制御方法 |
| JP2014081727A (ja) * | 2012-10-15 | 2014-05-08 | Nintendo Co Ltd | 音声出力システム、音声出力プログラム、音声出力制御方法、および情報処理装置 |
| US20180309956A1 (en) * | 2017-04-24 | 2018-10-25 | Teac Corporation | Audio device |
| JP2022050516A (ja) * | 2017-08-08 | 2022-03-30 | マクセル株式会社 | 端末、音声連携再生システム及びコンテンツ表示装置 |
-
2002
- 2002-10-22 JP JP2002306560A patent/JP2004146894A/ja active Pending
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4592551B2 (ja) * | 2004-11-10 | 2010-12-01 | シャープ株式会社 | 通信装置 |
| JP2006166414A (ja) * | 2004-11-10 | 2006-06-22 | Sharp Corp | 通信装置 |
| JP2006174093A (ja) * | 2004-12-16 | 2006-06-29 | Sanyo Electric Co Ltd | 通信方法および装置 |
| JP4651374B2 (ja) * | 2004-12-16 | 2011-03-16 | 京セラ株式会社 | 通信方法および装置 |
| JP2006203398A (ja) * | 2005-01-19 | 2006-08-03 | Sanyo Electric Co Ltd | 出力先切替方法およびそれを利用した通信装置 |
| JP2006211435A (ja) * | 2005-01-28 | 2006-08-10 | Kyocera Corp | 携帯端末 |
| JP2006303721A (ja) * | 2005-04-18 | 2006-11-02 | Nec Corp | 通話内容隠蔽システム、通話装置、通話内容隠蔽方法およびプログラム |
| JP2007049358A (ja) * | 2005-08-09 | 2007-02-22 | Casio Hitachi Mobile Communications Co Ltd | 携帯端末装置及びプログラム |
| JPWO2007060829A1 (ja) * | 2005-11-22 | 2009-05-07 | シャープ株式会社 | 携帯電話機 |
| JP2007235767A (ja) * | 2006-03-03 | 2007-09-13 | Casio Hitachi Mobile Communications Co Ltd | 携帯電話装置及びプログラム |
| JP4684941B2 (ja) * | 2006-04-28 | 2011-05-18 | シャープ株式会社 | 通信装置、プログラムおよび受信音声出力方法 |
| JP2007300301A (ja) * | 2006-04-28 | 2007-11-15 | Sharp Corp | 通信装置、プログラムおよび受信音声出力方法 |
| JP2008172579A (ja) * | 2007-01-12 | 2008-07-24 | Brother Ind Ltd | 通信装置 |
| WO2011039884A1 (ja) * | 2009-10-01 | 2011-04-07 | 富士通株式会社 | 音声通話装置 |
| US8526578B2 (en) | 2009-10-01 | 2013-09-03 | Fujitsu Limited | Voice communication apparatus |
| JP5321687B2 (ja) * | 2009-10-01 | 2013-10-23 | 富士通株式会社 | 音声通話装置 |
| JP2012075039A (ja) * | 2010-09-29 | 2012-04-12 | Sony Corp | 制御装置、および制御方法 |
| US9426270B2 (en) | 2010-09-29 | 2016-08-23 | Sony Corporation | Control apparatus and control method to control volume of sound |
| JP2014081727A (ja) * | 2012-10-15 | 2014-05-08 | Nintendo Co Ltd | 音声出力システム、音声出力プログラム、音声出力制御方法、および情報処理装置 |
| US20180309956A1 (en) * | 2017-04-24 | 2018-10-25 | Teac Corporation | Audio device |
| CN108737935A (zh) * | 2017-04-24 | 2018-11-02 | 蒂雅克股份有限公司 | 音频装置 |
| JP2018186320A (ja) * | 2017-04-24 | 2018-11-22 | ティアック株式会社 | オーディオ装置 |
| CN108737935B (zh) * | 2017-04-24 | 2020-12-15 | 蒂雅克股份有限公司 | 音频装置 |
| US10924706B2 (en) | 2017-04-24 | 2021-02-16 | Teac Corporation | Audio device |
| JP2022050516A (ja) * | 2017-08-08 | 2022-03-30 | マクセル株式会社 | 端末、音声連携再生システム及びコンテンツ表示装置 |
| JP7467513B2 (ja) | 2017-08-08 | 2024-04-15 | マクセル株式会社 | 端末、音声連携再生システム及びコンテンツ表示装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004146894A (ja) | 携帯端末装置及び音声制御プログラムを記録した記録媒体 | |
| EP1802082A1 (en) | Information terminal | |
| KR20020013808A (ko) | 휴대용 무선 통신 장치 | |
| JP2005117630A (ja) | デジタルマルチメディア放送受信用の移動通信端末機のオーディオ送出装置及び方法 | |
| JP2002223279A (ja) | 通信端末装置 | |
| JP2007049358A (ja) | 携帯端末装置及びプログラム | |
| JP2003263872A (ja) | オーディオ出力装置 | |
| KR100469847B1 (ko) | 다기능 오디오폰 | |
| JP2006254193A (ja) | 無線通信端末、増幅率調整方法及びプログラム | |
| JP4327741B2 (ja) | 携帯電話機 | |
| KR100752294B1 (ko) | 이동 단말기에서 배경음을 제공하는 방법 및 장치 | |
| JP4415171B2 (ja) | 基地局装置 | |
| JPH10190780A (ja) | 呼出報知装置 | |
| JP4503365B2 (ja) | 携帯電話機 | |
| KR19990046770A (ko) | 송,수화기능을갖는핸드폰용이어폰 | |
| JP2001136239A (ja) | 通信端末 | |
| KR100989722B1 (ko) | 휴대단말기의 동영상과 화상통신 신호 동시 출력장치 및방법 | |
| KR100736569B1 (ko) | 이동통신 단말기 및 그 제어 방법 | |
| JP2007166249A (ja) | 携帯端末装置 | |
| JP2002232520A (ja) | 通信端末装置および着信報知方法 | |
| JPH11163977A (ja) | 携帯電話機 | |
| JP3981995B2 (ja) | 通信端末装置 | |
| JP2005079922A (ja) | 放送受信機能付携帯電話機 | |
| KR100469172B1 (ko) | 수신신호에 따라 그 출력음량이 가변적인 휴대통신 단말기및 그 구현방법 | |
| KR20030028018A (ko) | 노래방 기능이 장착된 핸드폰 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050525 |
|
| A977 | Report on retrieval |
Effective date: 20061129 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
| A131 | Notification of reasons for refusal |
Effective date: 20061212 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070514 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070605 |