JP2004343443A - 携帯通信装置、通信方法 - Google Patents

携帯通信装置、通信方法 Download PDF

Info

Publication number
JP2004343443A
JP2004343443A JP2003137767A JP2003137767A JP2004343443A JP 2004343443 A JP2004343443 A JP 2004343443A JP 2003137767 A JP2003137767 A JP 2003137767A JP 2003137767 A JP2003137767 A JP 2003137767A JP 2004343443 A JP2004343443 A JP 2004343443A
Authority
JP
Japan
Prior art keywords
audio signal
signal
unit
sound
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003137767A
Other languages
English (en)
Other versions
JP3773917B2 (ja
Inventor
Shunichiro Kato
俊一郎 加藤
Koichi Sawai
浩一 沢井
Makoto Nakayama
誠 中山
Rei Takahashi
麗 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2003137767A priority Critical patent/JP3773917B2/ja
Publication of JP2004343443A publication Critical patent/JP2004343443A/ja
Application granted granted Critical
Publication of JP3773917B2 publication Critical patent/JP3773917B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】通話の妨げになることを防止するか、又は、通話を盛り上げることができることを目的とする。
【解決手段】携帯電話機は、受信音声信号、又は、送信音声信号に合成するための音響信号を受信音声信号と合成して出力するか、又は音響信号を送信音声信号と合成して、通話相手の電話機に送信する。携帯電話機は、受信音声信号及び/又は送信音声信号の音量を時系列に従って計測する受信側分析部19/送信側分析部25と、計測された、受信音声信号及び/又は送信音声信号の音量に基づいて、送信音声信号及び/又は受信音声信号に合成する音響信号の音量を制御する音響情報処理部20とを有する。
【選択図】 図2

Description

【0001】
【発明の属する技術分野】
本発明は、携帯通信装置、通信方法に関する。
【0002】
【従来の技術】
現在、提供されている第3世代のデジタル携帯電話システムは、動画像の伝送が可能な広帯域な信号伝送が可能である。しかし、音声の伝送に関するシステムは、相手に聴取させる音声の明瞭度を可能な限り向上させることを目的に設計されている。また、音声通話伝送時には可能な限り発話者の周囲の雑音(これを背景雑音という)を除去・抑制する音声信号処理技術(ノイズキャンセリング技術)が適用されている。このため、音声や楽曲の忠実な再現は難しいものの、繁華街や自動車や列車の車中といった喧噪な場所において、携帯電話を利用した場合においても比較的明瞭な音声通話が可能である。
【0003】
従来、「効果音付加型通話システム」においては、以下のような通話システムが提案されている(特許文献1参照)。この従来技術では、発呼者と被呼者との通話に、第3の話者としての効果音サーバを加えて、効果音サーバから効果音を提供することにより、通常の通話に効果音が挿入される。これにより、通話している2者の話し声だけでなく、変化に富んだ内容が通話に含まれるので、ユーザの電話による会話がより盛り上がることになる。これによると、電話機の送話口から効果音を送信する手法に比べて、電話機側で事前に音源を用意する必要がなく、音源としての選択範囲も広くなる。また、楽曲も通信により任意のものが取得可能となっている。
【0004】
また、従来においては、携帯電話機による音声通話において、ユーザの希望する効果音を、希望するタイミングで送出するようにした移動体通信装置が提案されている(特許文献2参照)。この従来技術では、携帯電話機のパネル面に設けられた、効果音送出ボタンを操作することにより、記憶装置から読み出された効果音データと、音声データとが、効果音ミキサーで合成して送信される。このため、会話の途中で、ユーザによる任意のタイミングで、適宜効果音が挿入されるので、効果音の送出のために会話が中断することがない。また、ユーザが所定のテンキーの操作をすることにより、操作されたテンキーに対応するアドレス(記憶部内のアドレス)から、効果音データが読み出される。この結果、簡単な操作で種々の効果音の送出が可能となる。
【0005】
【特許文献1】
特開2002−271494号公報
【0006】
【特許文献2】
特開2002−51116号公報
【0007】
【発明が解決しようとする課題】
しかしながら、上述した従来技術には、次のような問題があった。音声通話伝送に関するシステムにおいては、相手に聴取させるための音声の明瞭度を可能な限り向上させるように設計されている。このため、従来では、会話以外の音響、例えば歌声や楽曲、自然音(鳥や虫の鳴き声や水の流れる音など)の背景音、効果音の伝送は考慮されていなかった。このため、これらの音響は、受話者側には歪んで聞こえたり、雑音のように聞こえてしまうことがあった。さらにノイズキャンセリング技術の適用により、発話者の所在する場所の背景雑音を消去もしくは抑制しているので、喧噪な場所においても比較的明瞭な音声通話が可能となる。ところが、会話を楽しもうとして通話を行う場合、発話者の音響的な周辺状況と、受話者の音響的な周辺状況とのミスマッチが顕著となり、会話が単調なものとなったり、或いは会話を継続させること自体が難しくなったりするといった状況が発生していた。
【0008】
即ち、上述した従来技術では、送信音声信号や受信音声信号に合成するための音響信号(効果音や背景音などの信号)は、送信音声信号や受信音声信号にかかわらず、一定のものであったり、音響信号の音量やテンポは一定であった。このため、通話中の送信音声信号や受信音声信号の変化に応じて、音響信号を変化させることにより、通話の妨げになることを防止したり、通話を盛り上げるということができなかった。
【0009】
本発明は、以上のような問題点を解決するためになされたものであり、通話中の送信音声信号及び/又は受信音声信号の変化に応じて、音響信号を変化させることにより、通話の妨げになることを防止するか、又は、通話を盛り上げることができる携帯通信装置、通信方法を提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明の携帯電話機は、通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する際に、前記受信音声信号及び/又は前記送信音声信号に基づいて、前記送信音声信号及び/又は前記受信音声信号に合成する音響信号を制御する制御手段を有することを特徴とするものである。
【0011】
このため、通話中の送信音声信号及び/又は受信音声信号の変化に応じて、音響信号を変化させるような制御が可能となる。そして、例えば、以下のような音量の制御が行われることにより、音響信号が通話の妨げになることが防止されたり、通話を盛り上げることが可能となる。
【0012】
本発明の携帯電話機は、上記発明において、前記受信音声信号及び/又は前記送信音声信号の音量を時系列に従って、計測する計測手段を有し、前記制御手段は、前記計測手段により計測された、前記受信音声信号及び/又は前記送信音声信号の音量に基づいて、前記送信音声信号及び/又は前記受信音声信号に合成する音響信号の音量を制御することもできる。
【0013】
この制御の具体的な一例として、例えば、本発明の携帯電話機は、前記受信音声信号及び/又は前記送信音声信号の音量に基づいて所定の関係式に従って算出される第1音量値と、前記受信音声信号及び/又は前記送信音声信号に合成する音響信号の実際の音量値である第2音量値とが対応づけられた対応テーブルを記憶する記憶手段と、前記計測手段により計測された、前記受信音声信号及び/又は前記送信音声信号の音量に基づいて、前記所定の関係式に従って、第1音量値を算出し、算出された第1音量値と、前記対応テーブルとに基づいて、前記第1音量値に対応する第2音量値を取得する取得手段とを有し、前記制御手段は、前記取得手段により取得された第2音量値となるように、前記送信音声信号及び/又は前記受信音声信号に合成する音響信号の音量を制御するようにしてもよい。
【0014】
この結果、例えば、通話相手から送られてきた受信音声信号の音量や、通話相手に送信する送信音声信号の音量が高い場合、上記受信音声信号に合成するための音響信号や、送信音声信号に合成するための音響信号の音量が高くなるように制御することができる。また、例えば、通話相手から送られてきた受信音声信号の音量や、通話相手に送信する送信音声信号の音量が低い場合、上記受信音声信号に合成するため音響信号や、送信音声信号に合成するための音響信号の音量が低くなるように制御することができる。
【0015】
これにより、例えば、通話に関する音声信号(送信音声信号、受信音声信号)が変化しても、通話に関する音声信号が優先して、出力されたり、通話相手の携帯電話機1に送信されるので、通話の妨げになるという事態が防止される。
【0016】
また、例えば、通話相手から送られてきた受信音声信号の音量と、通話相手に送信する送信音声信号の音量とのうち、大きい方の音量値に基づいて、送信音声信号、受信音声信号に合成するための音響信号の音量を制御することも可能である。これにより、例えば、通話に関する音声信号(送信音声信号、受信音声信号)が変化しても、音量が大きな音声信号に基づいて、上記音響信号の音量が制御されるので、例えば、盛り上がっている方の音声信号が優先して出力されたり、通話相手の携帯電話機1に送信されることが可能になる。この結果、通話を盛り上げることが可能となる。
【0017】
また、本発明は、例えば、以下のようなテンポの制御が行われることにより、音響信号が通話の妨げになることが防止されたり、通話を盛り上げることが可能となる。
【0018】
本発明の携帯電話機は、上記発明において、前記受信音声信号及び/又は前記送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の前記受信音声信号及び/又は前記送信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段を有し、前記制御手段は、前記計測手段により計測された、前記所定時間内の前記受信音声信号及び/又は前記送信音声信号のテンポに関する情報に基づいて、前記送信音声信号及び/又は前記受信音声信号に合成する音響信号のテンポを制御することもできる。
【0019】
この結果、例えば、通話相手から送られてきた受信音声信号のテンポや、通話相手に送信する送信音声信号のテンポに合うように、上記受信音声信号に合成するため音響信号や、送信音声信号に合成するための音響信号のテンポを制御することができる。
【0020】
これにより、通話に関する音声信号のテンポと異なるテンポの音響信号が合成されてしまうような状態がないので、通話の妨げになるという事態が防止される。また、例えば、通話に関する音声信号のテンポに従ったテンポの音響信号が合成されるので、通話を盛り上げることが可能となる。
【0021】
また、本発明は、通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する携帯通信装置であって、複数の音響信号を記憶する記憶手段と、前記受信音声信号及び/又は前記送信音声信号に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択する選択手段と、前記受信音声信号又は前記送信音声信号と、前記所定の音響信号とを合成する合成手段とを有することを特徴とするものである。
【0022】
このため、通話中の送信音声信号及び/又は受信音声信号の変化に応じて、選択される音響信号が変化することになる。この結果、通話中の送信音声信号及び/又は受信音声信号の変化に応じて、音響信号を変化させることが可能となる。
【0023】
そして、例えば、以下のような選択が行われることにより、通話を盛り上げることが可能となる。
【0024】
本発明は、上記発明において、通話相手の通信装置との間で、前記受信音声信号又は前記送信音声信号の送受信を開始してから現在までの時間である通話時間を計測する計測手段を有し、前記選択手段は、前記計測手段により計測された通話時間に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択することもできる。
【0025】
この選択の具体的な一例として、本発明は、上記発明において、各通話時間と、音響信号を特定する情報とが対応づけられた対応テーブルを記憶する記憶手段を有し、前記選択手段は、前記対応テーブルを参照して、前記計測手段により計測された通話時間に対応する音響信号を、前記所定の音響信号として選択するようにしてもよい。
【0026】
このため、例えば、各通話時間が経過するごとに、別の音響信号が選択されて、送信音声信号及び/又は受信音声信号に合成され、別の音響信号が通話音声信号とともに、出力されたり、通話相手の携帯電話機に送信される。この結果、長い通話となってしまい、通話が単調なものとなってしまっても、突然、別の音響信号を通話者が聞くことになるので、例えば、その音響信号により通話者の気分が変わり、通話の盛り上げに役立つことになる。
【0027】
また、例えば、以下のような選択が行われることにより、通話を盛り上げることが可能となる。
【0028】
本発明は、上記発明において、前記受信音声信号及び/又は前記送信音声信号における無音声が連続する時間である無音時間を計測する計測手段を有し、前記選択手段は、前記計測手段により計測された無音時間に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択することもできる。
【0029】
この選択の具体的な一例として、本発明は、上記発明において、各無音時間と、音響信号を特定する情報とが対応づけられた対応テーブルを記憶する記憶手段を有し、前記選択手段は、前記対応テーブルを参照して、前記計測手段により計測された無音時間に対応する音響信号を、前記所定の音響信号として、選択するようにしてもよい。
【0030】
このため、例えば、各無音時間が経過するごとに、別の音響信号が選択されて、送信音声信号及び/又は受信音声信号に合成され、別の音響信号が通話音声信号とともに、出力されたり、通話相手の携帯電話機1に送信される。この結果、会話が盛り上がらないため、話者の一方又は双方が、声を出さない状態が長く続いても、突然、別の音響信号を通話者が聞くことになるので、例えば、その音響信号により通話者の気分が変わり、通話の盛り上げに役立つことになる。
【0031】
また、例えば、以下のような選択が行われることにより、通話を盛り上げることが可能となる。
【0032】
本発明は、上記発明において、前記受信音声信号及び/又は前記送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の前記受信音声信号及び/又は前記送信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段を有し、前記選択手段は、前記計測手段により計測された、前記所定時間内の前記受信音声信号及び/又は前記送信音声信号のテンポに関する情報に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択することもできる。
【0033】
この選択の具体的な一例として、本発明は、上記発明において、各テンポに関する情報と、音響信号を特定する情報とが対応づけられた対応テーブルを記憶する記憶手段を有し、前記選択手段は、前記対応テーブルを参照して、前記計測手段により計測された、前記所定時間内の前記受信音声信号及び/又は前記送信音声信号のテンポに関する情報に対応する音響信号を、前記所定の音響信号として、選択するようにしてもよい。
【0034】
このため、例えば、受信音声信号のテンポ又は送信音声信号のテンポに基づいて、別の音響信号が選択されて、送信音声信号及び/又は受信音声信号に合成され、別の音響信号が通話音声信号とともに、出力されたり、通話相手の携帯電話機1に送信される。この結果、話者の一方又は双方の通話のテンポが変わった場合、突然、別の音響信号を通話者が聞くことになるので、例えば、その音響信号により通話者の気分が変わり、通話の盛り上げに役立つことになる。
【0035】
また、本発明の携帯電話機は、上記発明において、前記対応テーブルを記憶する記憶装置から、前記対応テーブルを取得する取得手段と、前記取得手段により取得された前記対応テーブルを、前記記憶手段に記憶させる記憶制御手段とを有することを特徴とするものである。このため、携帯電話機のユーザは、自分で対応テーブルを作成する手間が省けるので、ユーザの手間を軽減することができる。
【0036】
また、本発明の携帯電話機は、上記発明において、前記対応テーブルに含まれる情報を入力するための入力手段と、前記入力手段により入力された前記対応テーブルに含まれる情報に基づいて、前記記憶手段に記憶されている対応テーブルの書き換えを行う書き換え手段とを有することを特徴とするものである。このため、音響信号の変更があった場合や、音響信号に対応する情報が変化したような場合でも、速やかに対応できる。
【0037】
また、本発明は、通信方法としても実現できる。この場合、本発明は、通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する通信方法であって、前記受信音声信号及び/又は前記送信音声信号に基づいて、前記送信音声信号及び/又は前記受信音声信号に合成する音響信号を制御することを特徴とするものである。
【0038】
また、本発明は、通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する通信方法であって、複数の音響信号を記憶手段に記憶するステップと、 前記受信音声信号及び/又は前記送信音声信号に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択するステップと、前記受信音声信号又は前記送信音声信号と、前記所定の音響信号とを合成するステップとを有することを特徴とするものである。
【0039】
【発明の実施の形態】
実施の形態1
図1は、本実施の形態の通信システムの構成を示す図である。通信システムは、携帯電話機1(携帯通信装置)と、携帯電話機1と無線通信を行う基地局4と、基地局4と接続されている交換装置5と、交換装置5と公衆ネットワーク(IP通信ネットワークともいう、例えば、インターネット)を介して接続される情報提供サーバ装置6とを有する。ここで、基地局4と、交換装置5とは、デジタル携帯電話ネットワーク部を構成する。
【0040】
なお、本実施の形態では、携帯通信装置として、携帯電話機1(例えば、移動電話機)を例にして説明するが、これに限定されるわけでない。例えば、携帯通信装置として、携帯端末装置(音声及び画像のやりとりを2者間で、できる装置)であってもよい。
【0041】
携帯電話機1は、通話相手の携帯電話機1(通信装置)から受信する音声信号である受信音声信号、又は、通話相手の携帯電話機1に送信する音声信号である送信音声信号に合成するための音響信号を、受信音声信号と合成して出力するか、又は上記音響信号を上記送信音声信号と合成して、通話相手の携帯電話機1に送信する携帯通信装置である。
【0042】
ここでいう音響信号とは、例えば、通話者の音声信号に付加される信号のことであり、例えば、音楽、自然音(鳥の鳴き声、川の流れる音)などの音声信号のことであり、いわゆる効果音信号や、背景音信号のことである。
【0043】
図2は、本実施の形態の携帯電話機1の構成を示す図である。携帯電話機1は、無線受信部11と、無線送信部12と、通信制御部13とを有する。無線受信部11は、基地局4から送信されてきた各種のデータを無線通信を介して、受信する。具体的には、無線受信部11は、基地局4との間で設定された無線通信経路から送信されてきた無線信号を復調し、デジタルビット列信号を生成する。
【0044】
無線送信部12は、基地局4に対して、各種のデータを無線通信を介して、送信する。具体的には、無線送信部12は、多重化部30などから出力されたデジタルビット列信号を変調し、変調したデジタルビット列信号を無線信号として、無線通信経路を介して、基地局4に送信する。
【0045】
また、通信制御部13と無線受信部11と無線送信部12とは、無線インターネット接続通信機能を有する。この機能について、以下に詳細に説明する。通信制御部13は、無線送信部12及び無線受信部11と、情報提供サーバ装置6との間の通信経路の設定処理を行う。この設定処理により、無線送信部12及び無線受信部11は、情報提供サーバ装置6との間で、データ通信を行うことができる。例えば、無線送信部12は、複数の音響情報、複数の対応テーブルのリスト情報(又は、サービスメニュー情報)の要求を、デジタル携帯電話ネットワーク部及び公衆ネットワークに設定された通信経路を介して、情報提供サーバ装置6に送信する。対応テーブルの説明は、後述する。
【0046】
情報提供サーバ装置6は、上記要求に基づいて、上述したリスト情報を、デジタル携帯電話ネットワーク部及び公衆ネットワークに設定された通信経路を介して、無線受信部11に送信する。無線送信部12は、所定の音響情報、所定の対応テーブルの要求を、上記通信経路を介して、情報提供サーバ装置6に送信する。情報提供サーバ装置6は、上記所定の音響情報、所定の対応テーブルの要求に基づいて、上記所定の音響情報、所定の対応テーブルを、上記通信経路、無線受信部11を介して、通信制御部13に送信する。通信制御部13は、上記所定の音響情報、所定の対応テーブルを、記憶制御部14に送ると、記憶制御部14は、所定の音響情報、所定の対応テーブルを、記憶部15に記憶させる。
【0047】
本実施の形態では、一例として、記憶部15には、後述する1つの対応テーブルと、複数の音響信号とが記憶されている場合の説明が行われる。
【0048】
なお、例えば、ユーザ(例えば、携帯電話機1の所有者)がディスプレイ部18に表示された表示に基づいて、入力部31(キーボードなど)を用いて所定の入力操作を行うことにより、上記リスト情報の要求、所定の音響情報、対応テーブルの選択が行われる。
【0049】
また、通信制御部13は、無線送信部12及び無線受信部11と、通話相手の携帯電話機1との間の通信経路の設定処理を行う。この設定処理により、無線送信部12及び無線受信部11は、通話相手の携帯電話機1との間で、データ通信を行うことができる。これにより、通信制御部13と無線受信部11と無線送信部12とは、デジタル携帯電話ネットワーク部に設定された通信経路を介して、通話信号の発信や着信を行うことができる。
【0050】
なお、無線送信部12及び無線受信部11と、通話相手の携帯電話機1との間の通信経路の設定処理の際には、例えば、ディスプレイ部18に表示された表示に基づいて、ユーザが入力部31(キーボードなど)を用いて所定の入力操作を行う。
【0051】
例えば、携帯電話機1のユーザが、入力部31を用いて、通話相手の携帯電話機1の電話番号を入力した後、オフフックボタンを押すと、呼設定信号が、通話相手の携帯電話機1に送信される。通話相手の携帯電話機1が、呼設定信号を取得すると、応答信号をユーザの携帯電話機1に送信する。ユーザの携帯電話機1が上記応答信号を取得すると、ユーザの携帯電話機1と通話相手の携帯電話機1との間における通信経路が設定され、通話状態に移行する。また、例えば、携帯電話機1のユーザが、入力部31を用いて、通話中において、オンフックボタンを押すと、切断信号が、通話相手の携帯電話機1に送信される。通話相手の携帯電話機1が、切断信号を取得すると、応答信号をユーザの携帯電話機1に送信する。ユーザの携帯電話機1が上記応答信号を取得すると、ユーザの携帯電話機1と通話相手の携帯電話機1との間における通信経路の設定が解除され、通話状態が終了する。
【0052】
通信制御部13は、ユーザの携帯電話機1と、通話相手の携帯電話機1との間の通信経路が設定され、通話状態であるか否かを監視する。そして、通信制御部13は、携帯電話機1と通話相手の携帯電話機1との間で、通話状態である場合には、音響情報処理部20、受信側重畳部21、受信側分析部19、送信側分析部25、送信側重畳部26が動作するように制御し、通話状態でない場合には、音響情報処理部20、受信側重畳部21、受信側分析部19、送信側分析部25、送信側重畳部26が動作しないように、制御する。
【0053】
また、携帯電話機1は、記憶制御部14と記憶部15とを有する。記憶制御部14は、対応テーブル及び音響情報を記憶する情報提供サーバ装置6(記憶装置)から、対応テーブル、音響情報を取得する取得手段でもある。具体的には、記憶制御部14は、情報提供サーバ装置6から通信制御部13を介して送られてきた、対応テーブルと複数の音響情報とを、取得する。
【0054】
記憶制御部14は、通信制御部13から送信されてきた対応テーブル、複数の音響情報を記憶部15に記憶させる。また、記憶制御部14は、記憶部15に記憶されている各音響情報のアドレス情報(記憶部15内のアドレス情報)を管理している。そして、音響情報処理部20から、所定のアドレス情報に記憶されている音響情報の要求信号を取得すると、記憶制御部14は、上記要求信号に基づいて、記憶部15の上記所定のアドレス情報に記憶されている音響情報を取得し、音響情報処理部20に送る。
【0055】
記憶部15には、対応テーブルと、複数の音響情報とが記憶されている。対応テーブルの一例は、以下のとおりである。対応テーブルにおいては、受信音声信号及び/又は送信音声信号の音量に基づいて所定の関係式に従って算出される第1音量値と、受信音声信号及び/又は送信音声信号に合成する音響信号の実際の音量値である第2音量値とが対応づけられている。図3は、対応テーブルの一例を示す図である。
【0056】
分離化部16は、無線受信部11から出力されたデジタルビット列信号を取得すると、上記デジタルビット列信号に基づいて、符号化された音声信号(以下、受信音声信号)と、符号化された画像信号(以下、受信画像信号)とに分離する。そして、分離化部16は、符号化された受信音声信号を音声信号復号化部18に出力する。また、分離化部16は、符号化された受信画像信号を画像信号復号化部17に出力する。
【0057】
画像信号復号化部17は、分離化部16から送られてきた受信画像信号を取得すると、受信画像信号の復号化処理を行う。そして、画像信号復号化部17は、復号化された受信画像信号をディスプレイ部18に出力する。
【0058】
ディスプレイ部18は、復号化された受信画像信号を取得すると、ユーザに対して、受信画像信号に基づいた画像を表示する。
【0059】
音声信号復号化部18は、符号化された受信音声信号を取得すると、受信音声信号の復号化処理を行う。そして、音声信号復号化部18は、復号化された受信音声信号を受信側分析部19に出力する。
【0060】
受信側分析部19は、携帯電話機1が、通話相手の携帯電話機1との間で、通話状態でない場合、復号化された受信音声信号をそのまま受信側重畳部21に出力する。一方、受信側分析部19は、携帯電話機1が、通話相手の携帯電話機1との間で、通話状態である場合、以下の処理を行う。即ち、受信側分析部19は、送られてきた受信音声信号に基づいて、分析処理を行う。ここでは、受信側分析部19は、受信音声信号の音量を時系列に従って、計測する。即ち、受信側分析部19は、受信音声信号の音量を時系列に従って、計測する計測手段である。
【0061】
受信側分析部19による計測処理の具体的な説明の一例は、以下のとおりである。受信側分析部19は、送られてきた受信音声信号の音量値を、所定時間間隔Tごとに、計測する。例えば、受信側分析部19は、時間t1から所定時間Tの間の受信音声信号の音量の平均値を、時間t1から所定時間Tの間の受信音声信号の音量値として、計測する。そして、受信側分析部19は、時間t1から所定時間Tの間の受信音声信号の音量値x1(dB)、時間t1+Tから所定時間Tの間の受信音声信号の音量値x2(dB)、..のように計測していく。受信側分析部19は、計測した音量値(例えば、音量値x1)と、上記音量値と対応する所定時間(例えば、T)分の受信音声信号(例えば、音量値x1に対応する、時間t1から所定時間Tの間の受信音声信号)と、を受信側重畳部21に出力する。受信側重畳部21は、計測された音量値に対応する、所定時間分の受信音声信号をいったん保持する。そして、受信側重畳部21は、計測された音量値を音響情報処理部20に送る。
【0062】
音響情報処理部20は、受信音声信号に基づいて、受信音声信号に合成する音響信号を制御する制御手段である。具体的には、例えば、音響情報処理部20は、受信側分析部19により計測された、受信音声信号の音量に基づいて、受信音声信号に合成する音響信号の音量を制御する。
【0063】
音響情報処理部20による制御機能の説明の一例は、以下のとおりである。例えば、音響情報処理部20は、受信側分析部19により計測された、受信音声信号の音量に基づいて、所定の関係式に従って、第1音量値を算出し、算出された第1音量値と、上記対応テーブルとに基づいて、第1音量値に対応する第2音量値を取得する取得手段でもある。そして、音響情報処理部20は、取得した第2音量値となるように、受信音声信号に合成する音響信号の音量を制御する。
【0064】
音響情報処理部20による処理の詳細な説明は、以下のとおりである。音響情報処理部20は、記憶制御部14を介して、記憶部15から、対応テーブルを取得する。また、音響情報処理部20は、記憶制御部14を介して、記憶部15から、所定の音響情報を取得する。そして、音響情報処理部20は、計測された音量値と、所定の関係式とに基づいて、第1音量値を算出する。
【0065】
ここで、所定の関係式の設定の仕方により、音響信号を優先したり、通話音声信号を優先したり、音響信号と通話音声信号とを両方、適度に優先させることができる。
【0066】
ここで、音響情報処理部20による第1音量値の算出方法の一例を以下に説明する。例えば、受信音声信号の音量値が音量値b1と計測され、後述する送信音声信号の音量値が音量値a1と計測された場合、音響情報処理部20は、以下に示す(1)式の所定の関係式に基づいて、第1音量値zを算出する。
【0067】
z=0*a1+n*b1.........(1)
ここで、nは、重み付け係数である。この重み付け係数の値は、特に限定されない。通信システムの設定上要求された値であってもよいし、適当な比例係数(例えば、1/2)であってもよい。
【0068】
そして、音響情報処理部20は、上記対応テーブルを参照して、算出された第1音量値に対応する第2音量値を取得する。例えば、音響情報処理部20は、第1音量値として、音量値B(dB)を算出した場合、図3に示す対応テーブルを参照して、第1音量値Bに対応する第2音量値b(dB)を取得する。
【0069】
そして、音響情報処理部20は、所定時間(T)分の所定の音響信号の音量を、第2音量値となるように、制御する。そして、音量が制御された所定の音響信号(所定時間分の所定の音響信号)は、受信側重畳部21に送られる。
【0070】
受信側重畳部21は、所定時間(T)分の受信音声信号と、音量が制御された所定の音響信号(所定時間(T)分の所定の音響信号)とを合成する。受信音声信号と、所定の音響信号とが合成された信号である合成信号は、スピーカ部22に出力される。スピーカ部22は、合成信号の増幅処理を行った後、ユーザに対して、増幅処理された音声信号を出力する。
【0071】
マイク部23には、ユーザの音声が入力される。マイク部23は、入力されたユーザの音声に基づいて、音声信号をノイズキャンセリング部24に出力する。
【0072】
ノイズキャンセリング部24は、音声信号のうち、周辺雑音に関する信号の除去や抑制処理を行う。ノイズキャンセリング部24は、除去や抑制処理が施された音声信号(以下、送信音声信号という)を送信側分析部25に送る。
【0073】
送信側分析部25は、携帯電話機1が、通話相手の携帯電話機1との間で、通話状態でない場合、送信音声信号をそのまま送信側重畳部26に出力する。一方、送信側分析部25は、携帯電話機1が、通話相手の携帯電話機1との間で、通話状態である場合、以下の処理を行う。即ち、送信側分析部25は、送られてきた送信音声信号に基づいて、分析処理を行う。ここでは、送信側分析部25は、送信音声信号の音量を時系列に従って、計測する。即ち、送信側分析部25は、送信音声信号の音量を時系列に従って、計測する計測手段である。
【0074】
送信側分析部25による計測処理の具体的な説明の一例は、以下のとおりである。送信側分析部25は、送られてきた送信音声信号の音量値を、所定時間間隔Tごとに、計測する。例えば、送信側分析部25は、時間t1から所定時間Tの間の送信音声信号の音量の平均値を、時間t1から所定時間Tの間の送信音声信号の音量値として、計測する。そして、送信側分析部25は、時間t1から所定時間Tの間の送信音声信号の音量値x1(dB)、時間t1+Tから所定時間Tの間の送信音声信号の音量値x2(dB)、..のように計測していく。送信側分析部25は、計測した音量値(例えば、音量値x1)と、上記音量値と対応する所定時間(例えば、T)分の送信音声信号(例えば、音量値x1に対応する、時間t1から所定時間Tの間の送信音声信号)と、を送信側重畳部26に出力する。
【0075】
送信側重畳部26は、計測された音量値に対応する、所定時間分の送信音声信号をいったん保持する。そして、送信側重畳部26は、計測された音量値を音響情報処理部20に送る。
【0076】
音響情報処理部20は、送信音声信号に基づいて、送信音声信号に合成する音響信号を制御する制御手段でもある。具体的には、例えば、音響情報処理部20は、送信側分析部25により計測された、送信音声信号の音量に基づいて、送信音声信号に合成する音響信号の音量を制御する。
【0077】
音響情報処理部20による制御機能の詳細な説明の一例は、以下のとおりである。例えば、音響情報処理部20は、送信側分析部25により計測された、送信音声信号の音量に基づいて、所定の関係式に従って、第1音量値を算出し、算出された第1音量値と、上記対応テーブルとに基づいて、第1音量値に対応する第2音量値を取得する取得手段でもある。そして、音響情報処理部20は、取得した第2音量値となるように、送信音声信号に合成する音響信号の音量を制御する。
【0078】
音響情報処理部20による処理の詳細な説明は、以下のとおりである。音響情報処理部20は、記憶制御部14を介して、記憶部15から、対応テーブルを取得する。また、音響情報処理部20は、記憶制御部14を介して、記憶部15から、所定の音響情報を取得する。そして、音響情報処理部20は、計測された音量値と、所定の関係式とに基づいて、第1音量値を算出する。
【0079】
ここで、音響情報処理部20による第1音量値の算出方法の一例を以下に説明する。例えば、受信音声信号の音量値が音量値b1と計測され、送信音声信号の音量値が音量値a1と計測された場合、音響情報処理部20は、以下に示す(2)式の所定の関係式に基づいて、第1音量値zを算出する。
【0080】
z=m*a1+0*b1.........(2)
ここで、mは、重み付け係数である。この重み付け係数の値は、特に限定されない。通信システムの設定上要求された値であってもよいし、適当な比例係数(例えば、1/2)であってもよい。
【0081】
そして、音響情報処理部20は、上記対応テーブルを参照して、算出された第1音量値に対応する第2音量値を取得する。
【0082】
そして、音響情報処理部20は、所定時間(T)分の所定の音響信号の音量を、第2音量値となるように、制御する。そして、音量が制御された所定の音響信号(所定時間分の所定の音響信号)は、送信側重畳部26に送られる。
【0083】
送信側重畳部26は、所定時間(T)分の送信音声信号と、音量が制御された所定の音響信号(所定時間(T)分の所定の音響信号)とを合成する。送信音声信号と、所定の音響信号とが合成された信号である合成信号は、音声信号符号化部27に送られる。
【0084】
音声信号符号化部27は、送られてきた合成信号の符号化処理を行う。符号化された合成信号(以下、送信合成音声信号という)は、多重化部30に出力される。
【0085】
また、携帯電話機1は、撮影部28を有する。撮影部28は、ユーザによる所定の操作に基づいて、各種の画像を撮影する。撮影部28により撮影された画像を示す信号である画像信号(送信画像信号という)は、画像信号符号化部29に送られる。
【0086】
画像信号符号化部29は、撮影部28から送られた送信画像信号の符号化処理を行う。画像信号符号化部29は、符号化処理を行った送信画像信号を多重化部30に送る。
【0087】
多重化部30は、音声信号符号化部27から送られてきた送信合成音声信号と、画像信号符号化部29から送られてきた送信画像信号との多重化処理を行うことにより、送信デジタルビット列信号を生成する。そして、多重化部30は、送信デジタルビット列信号を無線送信部12に出力する。無線送信部12は、送信デジタルビット列信号を、無線通信、基地局4などを介して、通話相手の携帯電話機1に送信する。
【0088】
なお、上述した画像信号は、静止画像信号であっても、動画像信号であってもよい。
【0089】
(通信方法)
先ず、通信制御部13は、ユーザの携帯電話機1と、ユーザの通話相手の携帯電話機1との間の通信経路が設定され、通話状態であることを認識する。すると、通信制御部13は、音響情報処理部20、受信側重畳部21、受信側分析部19、送信側分析部25、送信側重畳部26が動作するように指示する指示信号を送る。これにより、各部が動作可能な状態に設定される。また、予め、ユーザは、入力部31を用いて、所定の音響信号を特定する情報を入力する。すると、入力された所定の音響信号を特定する情報は、音響情報処理部20に送られる。図4は、上記通信方法の説明を補足するための概念図である。
【0090】
(1)通話相手の携帯電話機1から、受信音声信号を受信し出力する処理
図5は、上記処理を説明するためのフローチャート図である。先ず、無線受信部11には、通話相手の携帯電話機1から、基地局4、交換装置5、基地局4を介して、無線信号が送信される。無線受信部11は、受信デジタルビット列信号を分離化部16に送る(S10)。分離化部16は、無線受信部11から出力された受信デジタルビット列信号を取得すると、受信デジタルビット列信号を、符号化された受信音声信号と、符号化された受信画像信号とに分離する(S20)。分離化部16は、符号化された受信音声信号を音声信号復号化部18に送るとともに、符号化された受信画像信号を画像信号復号化部17に送る。
【0091】
画像信号復号化部17は、符号化された受信画像信号を取得すると、受信画像信号の復号化処理を行う(S30)。そして、画像信号復号化部17は、復号化された受信画像信号をディスプレイ部18に出力する。ディスプレイ部18は、復号化された受信画像を、ユーザに対して表示する(S40)。
【0092】
また、S30,S40の処理と並行して以下の処理が行われる。音声信号復号化部18は、符号化された受信音声信号を取得すると、上記受信音声信号の復号化処理を行う(S50)。そして、音声信号復号化部18は、復号化された受信音声信号を受信側分析部19に出力する。
【0093】
受信側分析部19は、送られてきた受信音声信号の音量値を、所定時間間隔Tごとに、計測する(S60)。例えば、受信側分析部19は、時間t1から所定時間Tの間の受信音声信号の音量の平均値を計測する。そして、受信側分析部19は、時間t1から所定時間Tの間の受信音声信号の音量値x1(dB)、時間t1+Tから所定時間Tの間の受信音声信号の音量値x2(dB)、..のように計測する。受信側分析部19は、計測した音量値と、所定時間(T)分の受信音声信号とを受信側重畳部21に出力する。
【0094】
受信側重畳部21は、所定時間(T)分の受信音声信号をいったん保持する(S70)。そして、受信側重畳部21は、計測された音量値を音響情報処理部20に送る。音響情報処理部20は、記憶制御部14を介して、対応テーブルと、上記所定の音響情報を取得する。そして、音響情報処理部20は、計測された音量値と、所定の関係式とに基づいて、第1音量値を算出する(S80)。この第1音量値の算出処理の詳細な説明は、上述したとおりである。
【0095】
そして、音響情報処理部20は、上記対応テーブルを参照して、算出された第1音量値に対応する第2音量値を取得する(S90)。そして、音響情報処理部20は、所定時間(T)分の所定の音響信号の音量を、第2音量値となるように、制御する(S100)。そして、音量が制御された所定の音響信号(所定時間(T)分の所定の音響信号)は、受信側重畳部21に送られる。
【0096】
受信側重畳部21は、所定時間(T)分の受信音声信号と、音量が制御された所定の音響信号(所定時間(T)分の所定の音響信号)とを合成する(S110)。受信音声信号と、所定の音響信号とが合成された信号である合成信号は、スピーカ部22に出力される(S120)。
【0097】
(2)通話相手の携帯電話機1に、送信音声信号を送信する処理
図6は、上記処理を説明するためのフローチャート図である。マイク部23には、ユーザの音声が入力される。マイク部23は、入力されたユーザの音声に基づいて、音声信号をノイズキャンセリング部24に出力する(S130)。
【0098】
ノイズキャンセリング部24は、音声信号のうち、周辺雑音に関する信号の除去や抑制処理を行う(S140)。そして、ノイズキャンセリング部24は、送信音声信号を送信側分析部25に送る。
【0099】
送信側分析部25は、送られてきた送信音声信号の音量値を、所定時間間隔Tごとに、計測する(S150)。この処理の具体的な説明は、ステップS60の場合と同じである。送信側分析部25は、計測した音量値と、所定時間(T)分の送信音声信号とを送信側重畳部26に出力する。
【0100】
送信側重畳部26は、所定時間(T)分の送信音声信号をいったん保持する(S160)。そして、送信側重畳部26は、計測された音量値を音響情報処理部20に送る。音響情報処理部20は、記憶制御部14を介して、対応テーブルと、所定の音響情報を取得する。そして、音響情報処理部20は、計測された音量値と、所定の関係式とに基づいて、第1音量値を算出する(S170)。この第1音量値の算出処理の詳細な説明は、上述したとおりである。
【0101】
そして、音響情報処理部20は、上記対応テーブルを参照して、算出された第1音量値に対応する第2音量値を取得する(S180)。そして、音響情報処理部20は、所定時間(T)分の所定の音響信号の音量を、第2音量値となるように、制御する(S190)。そして、音量が制御された所定の音響信号(所定時間(T)分の所定の音響信号)は、送信側重畳部26に送られる。
【0102】
送信側重畳部26は、所定時間(T)分の送信音声信号と、音量が制御された所定の音響信号(所定時間(T)分の所定の音響信号)とを合成する(S200)。送信音声信号と、所定の音響信号とが合成された信号である合成信号は、音声信号符号化部27に送られる。
【0103】
音声信号符号化部27は、送られてきた合成信号の符号化処理を行う(S210)。符号化された合成信号は、多重化部30に出力される。その後、S240の処理が行われる。
【0104】
また、S130からS210までの処理と並行して、以下のS220、S230の処理が行われる。撮影部28は、ユーザによる所定の操作に基づいて、各種の画像を撮影する(S220)。撮影部28により撮影された画像を示す信号(送信画像信号)は、画像信号符号化部29に送られる。画像信号符号化部29は、送信画像信号の符号化処理を行う(S230)。画像信号符号化部29は、符号化処理を行った送信画像信号を多重化部30に送る。その後、S240の処理が行われる。
【0105】
多重化部30は、音声信号符号化部27から送られてきた合成信号と、画像信号符号化部29から送られてきた送信画像信号との多重化処理を行うことにより、送信デジタルビット列信号を生成する(S240)。そして、多重化部30は、送信デジタルビット列信号を含む無線信号を無線送信部12に出力する。無線送信部12は、無線信号を、基地局4、交換装置5、通話相手の携帯電話機1と無線通信を行う基地局4を介して、通話相手の携帯電話機1に送信する(S250)。
【0106】
なお、本実施の形態では、一例として、記憶部15には、後述する1つの対応テーブルと、複数の音響信号とが記憶されている場合の説明が行われたが、記憶部15には、複数の対応テーブルが記憶されても良い。そして、音響情報処理部20は、複数の対応テーブルのうち、本実施の形態の機能を実現する対応テーブルを選択して取得するようにしてもよい。
【0107】
(作用効果)
本実施の形態の携帯電話機1は、受信音声信号及び/又は送信音声信号に基づいて、送信音声信号及び/又は受信音声信号に合成する音響信号を制御する音響情報処理部20(制御手段)を有する。このため、通話中の送信音声信号及び/又は受信音声信号の変化に応じて、音響信号を変化させるような制御が可能となる。そして、例えば、以下のような制御が行われることにより、音響信号が通話の妨げになることが防止されたり、通話を盛り上げることが可能となる。
【0108】
このような制御として、例えば、音量の制御がある。携帯電話機1は、受信音声信号及び/又は送信音声信号の音量を時系列に従って、計測する受信側分析部19/送信側分析部25を有する。そして、音響情報処理部20は、計測された、受信音声信号及び/又は送信音声信号の音量に基づいて、送信音声信号及び/又は受信音声信号に合成する音響信号の音量を制御することができる。
【0109】
音響情報処理部20による音量制御の一例は、以下のとおりである。携帯電話機1は、受信音声信号及び/又は送信音声信号の音量に基づいて所定の関係式に従って算出される第1音量値と、受信音声信号及び/又は送信音声信号に合成する音響信号の実際の音量値である第2音量値とが対応づけられた対応テーブルを記憶する記憶部15を有する。そして、音響情報処理部20は、計測された、受信音声信号及び/又は送信音声信号の音量に基づいて、所定の関係式に従って、第1音量値を算出し、算出された第1音量値と、対応テーブルとに基づいて、第1音量値に対応する第2音量値を取得する。そして、音響情報処理部20は、取得した第2音量値となるように、送信音声信号及び/又は受信音声信号に合成する音響信号の音量を制御する。
【0110】
この結果、例えば、通話相手から送られてきた受信音声信号の音量や、通話相手に送信する送信音声信号の音量が高い場合、上記受信音声信号に合成するための音響信号や、送信音声信号に合成するための音響信号の音量が高くなるように制御することができる。また、例えば、通話相手から送られてきた受信音声信号の音量や、通話相手に送信する送信音声信号の音量が低い場合、上記受信音声信号に合成するため音響信号や、送信音声信号に合成するための音響信号の音量が低くなるように制御することができる。
【0111】
これにより、例えば、通話に関する音声信号(送信音声信号、受信音声信号)が変化しても、通話に関する音声信号が優先して、出力されたり、通話相手の携帯電話機1に送信されるので、通話の妨げになるという事態が防止される。
【0112】
また、例えば、通話相手から送られてきた受信音声信号の音量と、通話相手に送信する送信音声信号の音量とのうち、大きい方の音量値に基づいて、送信音声信号、受信音声信号に合成するための音響信号の音量を制御することも可能である。これにより、例えば、通話に関する音声信号(送信音声信号、受信音声信号)が変化しても、音量が大きな音声信号に基づいて、上記音響信号の音量が制御されるので、例えば、盛り上がっている方の音声信号が優先して出力されたり、通話相手の携帯電話機1に送信されることが可能になる。この結果、通話を盛り上げることが可能となる。
【0113】
また、本実施の形態の記憶制御部14は、対応テーブルを記憶する記憶装置(例えば、情報提供サーバ装置6)から、対応テーブルを取得し、取得した対応テーブルを、記憶部15に記憶させる。このため、携帯電話機1のユーザは、自分で対応テーブルを作成する手間が省けるので、ユーザの手間を軽減することができる。
【0114】
また、特開2002−271494号公報に示される「効果音付加型通話システム」では、発呼者が被呼者に接続する際には、事前に発呼者が効果音サーバに発信し、効果音の選択等に必要な操作を行い、その後、実際に会話を行う被呼者の電話番号を入力し相手と接続しなければならない。このため、通話を開始するまでの操作が煩雑であり、かつ発呼者が被呼者への通話料金以外に効果音サーバへの通話料金を負担しなければならなかった。本実施の形態を用いれば、そのような事態が解消される。
【0115】
また、特開2002−51116号公報に示される「移動体通信装置」では、効果音の挿入を携帯電話機1内部にて行っており、テンキーに対応して種々の効果音を送出できるものの、実際に使用可能な効果音の種類及び数量は、携帯電話機1の記憶装置内に予め記憶されたものに限られる。本実施の形態では、記憶制御部14は、対応テーブル、音響信号を記憶する記憶装置から、対応テーブル、音響信号を取得し、取得した対応テーブル、音響信号を、記憶部15に記憶させる。このため、特開2002−51116号公報のように、実際に使用可能な効果音の種類及び数量は、携帯電話機1の記憶装置内に予め記憶されたものに限られることはない。
【0116】
また、特開2002−51116号公報の技術では、効果音の挿入を行う効果音ミキサーは、単純に発話者の音声出力と、レシーバー(スピーカ)入力に配置してあるため、マイクからの混入した発話者の背景音と混じってしまうが、本実施の形態では、携帯電話機1の内部で、発話者の音声と、音響信号とを合成しているので、そのような事態は避けられる。
【0117】
また、本実施の形態の携帯電話機1は、広帯域な情報伝送が可能なデジタル携帯電話機1に適用が可能である。特に、本実施の形態の携帯電話機1は、音声及び動画像の伝送が行われるTV電話機能を有するデジタル携帯電話機1に適用が可能である。
【0118】
(実施の形態1の変更例1)
(1)また、上述した実施の形態では、受信音声信号に合成する所定の音響信号の音量の制御と、送信音声信号に合成する所定の音響信号の音量の制御とをともに、行っていたが、以下のように変更されてもよい。即ち、受信音声信号に合成する所定の音響信号の音量の制御と、送信音声信号に合成する所定の音響信号の音量の制御とのうち、いずれか一方の制御のみが行われるようにしてもよい。
【0119】
そして、例えば、受信音声信号(又は送信音声信号)に合成する所定の音響信号の音量の制御のみが行われる場合、送信音声信号(又は受信音声信号)に合成する所定の音響信号は、一定の音量のままであってもよい。
【0120】
送信音声信号に合成する所定の音響信号の音量の制御のみが行われる場合、上述した所定の関係式(1)により、ユーザの音声が優先され、通話中において、ユーザの音声が優先して通話相手に送信される効果が得られる。
【0121】
一方、受信音声信号に合成する所定の音響信号の音量の制御のみが行われる場合、上述した所定の関係式(2)により、通話相手の音声が優先され、通話中において、通話相手の音声が優先して出力される効果が得られる。
【0122】
また、上述した所定の関係式(1)により、第1音量値が算出され、対応テーブルに基づいて、第2音量値が取得された場合、この取得された第2音量値に基づいて、受信音声信号に合成する所定の音響信号の音量の制御と、送信音声信号に合成する所定の音響信号に音量の制御とが行われるようにしてもよい。この場合にも、ユーザの音声が優先され、通話中において、ユーザの音声が優先して通話相手に送信される効果が得られる。
【0123】
また、上述した所定の関係式(2)により、第1音量値が算出され、対応テーブルに基づいて、第2音量値が取得された場合、この取得された第2音量値に基づいて、受信音声信号に合成する所定の音響信号の音量の制御と、送信音声信号に合成する所定の音響信号に音量の制御とが行われるようにしてもよい。この場合にも、通話相手の音声が優先され、通話中において、通話相手の音声が優先して出力される効果が得られる。
【0124】
(2)なお、音響情報処理部20による第1音量値の算出方法は、上述した実施の形態で示す方法以外に、以下のように変更されてもよい。
【0125】
例えば、受信側分析部19は、受信音声信号の音量値(例えば、時間t1から所定時間Tの間の受信音声信号の音量の平均値)を音量値b1と計測し、送信側分析部25は、送信音声信号の音量値(例えば、時間t1から所定時間Tの間の送信音声信号の音量の平均値)を音量値a1と計測した場合、音響情報処理部20は、以下に示す(3)式の所定の関係式に基づいて、第1音量値zを算出する。
【0126】
z=max(a1,b1).........(3)
ここで、max(a1,b1)は、音量値a1と音量値b1とのうち、大きな音量値(最大の音量値)を示す。
【0127】
この場合には、例えば、通話に関する音声信号(送信音声信号、受信音声信号)が変化しても、音量が大きな音声信号に基づいて、音響信号の音量が制御されるので、盛り上がっている方の音声信号が優先して出力されたり、通話相手の携帯電話機1に送信されるので、通話を盛り上げることが可能となる。
【0128】
そして、音響情報処理部20は、対応テーブルを参照して、第1音量値に対応する第2音量値を取得する。この第2音量値は、所定時間分の受信音声信号に合成する所定の音響信号の音量の制御処理と、所定時間分の送信音声信号に合成する所定の音響信号の音量の制御処理とに用いられる。
【0129】
そして、所定時間分の受信音声信号に合成する所定の音響信号の音量の制御処理、所定時間分の受信音声信号と所定の音響信号との合成処理、所定時間分の送信音声信号に合成する所定の音響信号の音量の制御処理、所定時間分の送信音声信号と所定の音響信号との合成処理、は上述した実施の形態と同様にして行われる。
【0130】
(3)また、音響情報処理部20による第1音量値の算出方法は、以下のように変更されてもよい。例えば、受信側分析部19は、受信音声信号の音量値(例えば、時間t1から所定時間Tの間の受信音声信号の音量の平均値)を音量値b1と計測し、送信側分析部25は、送信音声信号の音量値(例えば、時間t1から所定時間Tの間の送信音声信号の音量の平均値)を音量値a1と計測した場合、音響情報処理部20は、以下に示す(4)式の所定の関係式に基づいて、第1音量値zを算出する。
【0131】
z=m*a1+n*b1.........(4)
ここで、m、nは重み付け係数である。この重み付け係数の値は、特に限定されない。通信システムの設定上要求された値であってもよいし、適当な比例係数(例えば、1/2)であってもよい。
【0132】
この場合には、ユーザの音声が適度に優先され、通話中において、ユーザの音声が適度に優先して通話相手に送信される効果が得られるとともに、通信相手の音声が適度に優先され、通話中において、通信相手の音声が適度に優先して出力される効果が得られる。その後の処理は、上述した実施の形態1の変更例1の(2)の説明の場合と同じである。
【0133】
(実施の形態1の変更例2)
上述した実施の形態1、その変更例1では、音響情報処理部20は、第1音量値を算出した後、対応テーブルを参照して、第1音量値に対応する第2音量値を算出していたが、これに限定されず、例えば、以下のような式(5)を用いた方法で、第2音量値yが算出されてもよい。
【0134】
y=p/z+α1、y≦α2.........(5)
ここで、pは重み付け係数であり、その値は特に限定されない。また、α1は、音量値の下限値であり、α2は、音量値の上限値である。
【0135】
(実施の形態1の変更例3)
上述した実施の形態1は、以下のように変更されてもよい。 受信側分析部19は、受信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の受信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段である。また、送信側分析部25は、送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の送信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段でもある。
【0136】
音響情報処理部20は、計測された、所定時間内の受信音声信号及び/又は送信音声信号のテンポに関する情報に基づいて、送信音声信号及び/又は受信音声信号に合成する音響信号のテンポを制御する制御手段でもある。
【0137】
また、記憶部15には、例えば、各テンポに関する情報と、送信音声信号及び/又は受信音声信号に合成する音響信号のテンポとが対応づけられた対応テーブルが記憶されている。テンポに関する情報とは、例えば、所定時間の受信音声信号における有音声部分から無音声部分への変化の回数と、所定時間の受信音声信号における無音声部分から有音声部分への変化の回数との和の値である。
【0138】
(動作)
以下、本変更例の特徴的部分の動作について説明する。即ち、図5に示すS60以降、図6に示すS150以降では、以下の処理が行われる。
【0139】
先ず、音声信号復号化部18から、復号化処理が施された受信音声信号が受信側分析部19に送られる。受信側分析部19は、送られてきた受信音声信号に基づいて、以下の処理を行う。受信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の受信音声信号のテンポに関する情報を、所定時間ごとに、計測する。そして、受信側分析部19は、受信音声信号のテンポに関する情報を音響情報処理部20に送る。
【0140】
また、受信側分析部19は、受信音声信号のテンポに関する情報の計測処理を終えた後、所定時間分の受信音声信号を、受信側重畳部21に出力する。受信側重畳部21は、上記所定時間分の受信音声信号をいったん保持する。
【0141】
音響情報処理部20は、対応テーブルを参照して、計測されたテンポに関する情報に対応するテンポ値を取得する。
【0142】
音響情報処理部20は、上記所定時間分の所定の音響信号のテンポが、取得したテンポとなるように、制御する。そして、テンポが制御された所定の音響信号(上記所定時間分の所定の音響信号)は、受信側重畳部21に送られる。
【0143】
受信側重畳部21は、保持していた所定時間分の受信音声信号と、テンポが制御された所定の音響信号(所定時間分の所定の音響信号)とを合成する。合成された信号である合成信号は、スピーカ部22に出力される。
【0144】
同様にして、送信側分析部25によるテンポに関する情報の計測処理、音響情報処理部20による所定の音響信号の制御処理(テンポの制御)、送信側重畳部26による送信音声信号と所定の音響信号との合成処理が行われる。
【0145】
本変更例によれば、送信側分析部25/受信側分析部19は、受信音声信号及び/又は送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の受信音声信号及び/又は送信音声信号のテンポに関する情報を、所定時間ごとに、計測する。そして、音響情報処理部20は、計測された、所定時間内の受信音声信号及び/又は送信音声信号のテンポに関する情報に基づいて、送信音声信号及び/又は受信音声信号に合成する音響信号のテンポを制御する。
【0146】
この結果、例えば、通話相手から送られてきた受信音声信号のテンポや、通話相手に送信する送信音声信号のテンポに合うように、上記受信音声信号に合成するため音響信号や、送信音声信号に合成するための音響信号のテンポを制御することができる。
【0147】
これにより、通話に関する音声信号のテンポと異なるテンポの音響信号が合成されてしまうような状態がないので、通話の妨げになるという事態が防止される。また、例えば、通話に関する音声信号のテンポに従ったテンポの音響信号が合成されるので、通話を盛り上げることが可能となる。
【0148】
なお、携帯電話機1は、実施の形態1(又はその変更例1、2)の音響信号の制御機能と、本変更例の音響信号の制御機能をともに、具備するようにしてもよい。そして、ユーザが入力部31を用いて、実施の形態1の制御機能及び本変更例の制御機能のうち、いずれかの制御機能を選択できるようにしてもよい。入力部31により入力された選択を示す情報は、音響情報処理部20に送られる。音響情報処理部20は、入力された選択を示す情報に基づいて、実施の形態1の制御機能又は本変更例の制御機能を行うようにしてもよい。
【0149】
また、携帯電話機1は、ユーザによる各種の操作を検知する可動部を有するようにしてもよい。そして、可動部は、検知したユーザによる操作に基づいて、実施の形態1の制御機能及び本変更例の制御機能のうち、いずれかの制御機能をユーザが選択したことを示す情報を音響情報処理部20に送るようにしても良い。
【0150】
また、本変更例では、受信音声信号に合成する所定の音響信号のテンポの制御と、送信音声信号に合成する所定の音響信号のテンポの制御とをともに、行っていたが、以下のように変更されてもよい。即ち、受信音声信号に合成する所定の音響信号のテンポの制御と、送信音声信号に合成する所定の音響信号のテンポの制御とのうち、いずれか一方の制御のみが行われるようにしてもよい。
【0151】
そして、例えば、受信音声信号(又は送信音声信号)に合成する所定の音響信号のテンポの制御のみが行われる場合、送信音声信号(又は受信音声信号)に合成する所定の音響信号のテンポは、一定のテンポのままであってもよい。
【0152】
なお、本実施の形態、その変更例では、音響信号の制御について、音響信号の音量の制御、テンポの制御について、説明したが、本発明は、これらの制御に限定されない。即ち、受信音声信号及び/又は前記送信音声信号に基づいて、音響信号を制御する場合には、本実施の形態で説明した効果が得られる。
【0153】
実施の形態2.
上述した実施の形態1、その変更例では、受信音声信号及び/又は送信音声信号に合成する音響信号の制御が行われていた。本実施の形態では、受信音声信号及び/又は送信音声信号に基づいて、複数の音響信号のうち、受信音声信号及び/又は送信音声信号に合成するための音響信号の選択が行われる。
【0154】
本実施の形態において、実施の形態1と同じ構成、機能の説明については、同一符号を付してその説明を省略する。
【0155】
記憶部15には、複数の音響信号が記憶されている。また、音響情報処理部20と記憶制御部14は、受信音声信号及び/又は送信音声信号に基づいて、記憶部15に記憶された複数の音響信号のうち、所定の音響信号を選択する選択手段でもある。そして、受信側重畳部21は、受信音声信号と、上記所定の音響信号とを合成する合成手段でもある。また、送信側重畳部26は、送信音声信号と、上記所定の音響信号とを合成する合成手段でもある。
【0156】
音響情報処理部20と記憶制御部14の選択機能の具体的な説明の一例は、以下のとおりである。音響情報処理部20は、通話相手の携帯電話機1との間で、受信音声信号又は送信音声信号の送受信を開始してから現在までの時間である通話時間を計測する計測手段である。具体的には、通信制御部13は、ユーザの携帯電話機1が通話相手の携帯電話機との間で通話状態となった場合、通話状態の開始を示す信号を音響情報処理部20に出力する。音響情報処理部20は、通話状態の開始を示す信号を取得したときから、現在までの時間を示す通話時間を計測する。
【0157】
また、音響情報処理部20と記憶制御部14は、計測した通話時間に基づいて、記憶部15に記憶された複数の音響信号のうち、所定の音響信号を選択する。この選択処理の具体的な説明の一例は、以下のとおりである。記憶部15には、各通話時間と、音響信号を特定する情報とが対応づけられた対応テーブルが記憶されている。なお、本実施の形態で用いられる対応テーブルは、実施の形態1で用いられる対応テーブルとは異なるものである。図7は、本実施の形態で用いられる対応テーブルの一例を示す図である。この対応テーブルにおいては、各通話時間と、音響信号の名称と、音響信号を特定する情報(音響信号が記憶されているアドレス情報)とが対応づけられている。音響情報処理部20は、対応テーブルを参照して、計測された通話時間に対応する音響信号を、所定の音響信号として選択して取得するように、記憶制御部14に指示する。記憶制御部14は、上記指示を実行する。
【0158】
(通信方法)
本通信方法では、一例として、対応テーブルには、通話時間1(T1秒)、通話時間2(T2秒)が含まれている場合の説明が行われる。本通信方法では、特に、音声信号の処理(無線受信部11から、分離化部16、音声信号復号化部18、受信側分析部19を介して音声信号が受信側重畳部21、音響情報処理部20に送られた後、受信側重畳部21、音響情報処理部20などで所定の処理が行われて、スピーカ部22から出力される処理、マイク部23,ノイズキャンセリング部24を介して、音声信号が送信側重畳部26、音響情報処理部20に送られた後、送信側重畳部26、音響情報処理部20などで所定の処理が行われて、音声信号符号化部27に出力される処理)について説明する。なお、以下に示す処理以外の処理(例えば、画像信号の処理の説明、音声信号と画像信号との合成処理、合成された信号の処理、音声信号と画像信号との分離処理などの処理)は、実施の形態1と同じようにして行われるので、その説明を省略する。
【0159】
図8、9は、本実施の形態の通信方法の一例を説明するためのフローチャート図である。
【0160】
先ず、予め、ユーザは、入力部31を用いて、所定の音響信号を特定する情報を入力する。すると、入力された所定の音響信号を特定する情報は、音響情報処理部20に送られる。
【0161】
そして、通信制御部13は、ユーザの携帯電話機1が通話相手の携帯電話機1と通話状態になった場合、通話状態の開始を示す信号を音響情報処理部20に出力する(S300)。
【0162】
そして、通話相手の電話機から基地局4を介して、送信されてきた無線信号は、無線受信部11、分離化部16、音声信号復号化部18、受信側分析部19を介して、受信側重畳部21に送信される。この際、受信側分析部19は、実施の形態1と異なり、音声信号復号化部18から入力された信号をそのまま、受信側重畳部21に出力する。受信側重畳部21は、受信音声信号をいったん保持する。また、マイク部23に入力された音声は、ノイズキャンセリング部24、送信側分析部25を介して、送信側重畳部26に送信される。この際、送信側分析部25は、実施の形態1と異なり、ノイズキャンセリング部24から入力された信号をそのまま、送信側重畳部26に出力する。送信側重畳部26は、送信音声信号をいったん保持する(S310)。
【0163】
音響情報処理部20は、通話状態の開始を示す信号を取得した場合、音響情報処理部20は、通話状態の開始を示す信号を取得したときから、現在までの時間を示す通話時間を計測する(S315)。なお、S315の処理は、S320の処理以後、本実施の形態の処理が終了するまで行われる。この際、音響情報処理部20は、記憶制御部14を介して、記憶部15から対応テーブルを読み出す。
【0164】
音響情報処理部20は、計測した通話時間が、対応テーブルに含まれる最も短い通話時間(例えば、T1秒)に達したか否かを判断する(S320)。計測した通話時間が、対応テーブルに含まれる上記通話時間に達しない場合には、音響情報処理部20は、上記所定の音響信号を記憶制御部14、記憶部15を介して、読み出す。そして、音響情報処理部20は、上記所定の音響信号を受信側重畳部21、送信側重畳部26に送信する(S325)。受信側重畳部21は、保持していた受信音声信号と、上記所定の音響信号とを合成して、スピーカ部22に出力する。また、送信側重畳部26は、保持していた送信音声信号と、上記所定の音響信号とを合成して、音声信号符号化部27へ送る(S330)。そして、ステップS320の処理へ移行する。
【0165】
一方、計測した通話時間が、対応テーブルに含まれる最も短い通話時間に達した場合には、音響情報処理部20は、以下の処理を行う。
【0166】
音響情報処理部20は、対応テーブルを参照して、上記最も短い通話時間に対応するアドレス情報を記憶制御部14に送るとともに、上記通話時間に対応する音響信号の要求を示す信号を記憶制御部14に送る(S340)。例えば、図7に示すように、計測した通話時間がT1秒の場合、音響情報処理部20は、対応テーブルを参照して、通話時間T1秒に対応するアドレス情報aを記憶制御部14に送る。
【0167】
記憶制御部14は、上記要求を示す信号と、アドレス情報とに基づいて、記憶部15に記憶されている複数の音響信号のうち、上記アドレス情報に記憶されている音響信号を選択して取得し、音響情報処理部20に送る(S350)。
【0168】
音響情報処理部20は、送られてきた音響信号を受信側重畳部21に送信する。受信側重畳部21は、保持していた受信音声信号と、送られてきた音響信号とを合成し、スピーカ部22に出力する。また、音響情報処理部20は、送られてきた音響信号を送信側重畳部26に送信する。送信側重畳部26は、保持していた送信音声信号と、送られてきた音響信号とを合成し、音声信号符号化部27に出力する(S360)。
【0169】
そして、音響情報処理部20は、計測した通話時間が、対応テーブルに含まれる次に短い通話時間(例えば、T2秒)に達したか否かを判断する(S365)。計測した通話時間が、対応テーブルに含まれる次に短い通話時間に達しない場合には、ステップS350の処理へ移行する。
【0170】
一方、計測した通話時間が、対応テーブルに含まれる次に短い通話時間に達した場合には、対応テーブルを参照して、音響情報処理部20は、対応テーブルを参照して、上記次に短い通話時間に対応するアドレス情報を記憶制御部14に送るとともに、上記通話時間に対応する音響信号の要求を示す信号を記憶制御部14に送る(S370)。
【0171】
記憶制御部14は、上記要求を示す信号と、アドレス情報とに基づいて、記憶部15に記憶されている複数の音響信号のうち、記憶部15のアドレス情報に記憶されている音響信号を選択して取得し、音響情報処理部20に送る(S375)。
【0172】
音響情報処理部20は、送られてきた音響信号を受信側重畳部21に送信する。受信側重畳部21は、保持していた受信音声信号と、送られてきた音響信号とを合成し、スピーカ部22に出力する(S380)。また、音響情報処理部20は、送られてきた音響信号を送信側重畳部26に送信する。送信側重畳部26は、保持していた送信音声信号と、送られてきた音響信号とを合成し、音声信号符号化部27に出力する(S385)。
【0173】
そして、音響情報処理部20は、通話状態が終了したか否かを判断する(S390)。この際、通信制御部13は、通話状態が終了した場合、その旨を示す信号を音響情報処理部20に送る。通話状態が終了していない場合には、ステップS375の処理へ移行する。通話状態が終了した場合には、本変更例の処理は終了する。
【0174】
上述した説明では、対応テーブルには、2つの通話時間が含まれている場合の説明が行われたが、3つ以上の通話時間が含まれている場合も本発明の適用は可能である。
【0175】
このようにして、計測された通話時間が、対応テーブルに含まれる通話時間を経過するごとに、所定の音響信号が選択される。そして、選択された所定の音響信号は、受信音声信号、送信音声信号と合成される。
【0176】
(作用効果)
本実施の形態の携帯電話機1の音響情報処理部20、記憶制御部14は、受信音声信号及び/又は送信音声信号に基づいて、記憶部15に記憶された複数の音響信号のうち、所定の音響信号を選択する。そして、送信側分析部25/受信側分析部19は、受信音声信号又は前記送信音声信号と、上記所定の音響信号とを合成する。
【0177】
このため、通話中の送信音声信号及び/又は受信音声信号の変化に応じて、選択される音響信号が変化することになる。この結果、通話中の送信音声信号及び/又は受信音声信号の変化に応じて、音響信号を変化させることが可能となる。
【0178】
そして、例えば、以下のような選択が行われることにより、通話を盛り上げることが可能となる。
【0179】
音響情報処理部20、記憶制御部14による選択処理の一例は、例えば、以下のとおりである。音響情報処理部20は、通話相手の通信装置との間で、受信音声信号又は送信音声信号の送受信を開始してから現在までの時間である通話時間を計測する。そして、音響情報処理部20、記憶制御部14は、計測した通話時間に基づいて、記憶部15に記憶された複数の音響信号のうち、所定の音響信号を選択する。
【0180】
具体的な一例は、以下のとおりである。記憶部15には、各通話時間と、音響信号を特定する情報とが対応づけられた対応テーブルが記憶されている。音響情報処理部20は、対応テーブルを参照して、計測した通話時間に対応する音響信号を、所定の音響信号として選択するように、記憶制御部14に指示する。記憶制御部14は、上記指示を実行する。
【0181】
このため、例えば、各通話時間が経過するごとに、別の音響信号が選択されて、送信音声信号及び/又は受信音声信号に合成され、別の音響信号が通話音声信号とともに、出力されたり、通話相手の携帯電話機1に送信される。この結果、長い通話となってしまい、通話が単調なものとなってしまっても、突然、別の音響信号を通話者が聞くことになるので、例えば、その音響信号により通話者の気分が変わり、通話の盛り上げに役立つことになる。
【0182】
また、通話者が長く電話することを防止したいと考える場合には、長電話に対する警告となるので、長電話しがちな通話者にとって都合の良い携帯電話機1が提供される。
【0183】
また、特開2002−271494号公報に示される「効果音付加型通話システム」では、当該システムは効果音を電話機の数字キーで選択させる方式のため、一つのジャンルにおける選択可能な効果音等は9種類に限定されている。本実施の形態では、選択される音響信号には、特にそのような限定はない。
【0184】
なお、本実施の形態では、受信音声信号に合成する所定の音響信号の選択処理(及び所定の音響信号と受信音声信号との合成処理)と、送信音声信号に合成する所定の音響信号の選択処理(及び所定の音響信号と送信音声信号との合成処理)とをともに、行っていたが、以下のように変更されてもよい。即ち、受信音声信号に合成する所定の音響信号の選択処理と、送信音声信号に合成する所定の音響信号の選択処理のうち、いずれか一方のみが行われるようにしてもよい。
【0185】
また、上述した実施の形態において、所定の周期ごとに、例えば、音響信号1、音響信号2とが交互に選択されるようにしてもよい。また、上述した対応テーブルを用いて選択処理が行われる場合、通話時間/設定周期を通話時間として、所定の音響信号の選択処理が行われても良い。
【0186】
(実施の形態2の変更例1)
上述した実施の形態2において、以下のように変更されてもよい。本変更例の携帯電話機1の受信側分析部19は、受信音声信号における無音声が連続する時間である無音時間を計測する計測手段でもある。また、携帯電話機1の送信側分析部25は、送信音声信号における無音声が連続する時間である無音時間を計測する計測手段でもある。また、音響情報処理部20、記憶制御部14は、計測された無音時間に基づいて、記憶部15に記憶された複数の音響信号のうち、所定の音響信号を選択する選択手段でもある。
【0187】
音響情報処理部20、記憶制御部14による選択処理の具体的な説明の一例は、以下のとおりである。記憶部15には、無音時間と、音響信号を特定する情報とが対応づけられた対応テーブルが記憶されている。図10は、対応テーブルの一例を示す図である。なお、本変更例の対応テーブルは、実施の形態1、2の対応テーブルと異なるものである。この対応テーブルにおいては、各無音時間と、音響信号の名称と、音響信号を特定する情報(音響信号が記憶されているアドレス情報)とが対応づけられている。
【0188】
音響情報処理部20は、対応テーブルを参照して、計測された無音時間に対応する音響信号を、所定の音響信号として、選択するように記憶制御部14に指示する。記憶制御部14は、上記指示を実行する。
【0189】
(動作)
以下、本変更例の特徴的部分の動作について説明する。図11,12は、上記動作を説明するためのフローチャート図である。本動作では、一例として、対応テーブルには、無音時間1(T3秒)、無音時間2(T4秒)が含まれている場合の説明が行われる。
【0190】
なお、本動作では、特に、音声信号の処理(受信側分析部19に受信音声信号を送られた後、受信側分析部19,受信側重畳部21、音響情報処理部20などで所定の処理が行われて、スピーカ部22から出力される処理、送信側分析部25に送信音声信号が送られた後、送信側分析部25,送信側重畳部26、音響情報処理部20などで所定の処理が行われて、音声信号符号化部27に出力される処理)について説明する。なお、以下に示す処理以外の処理(例えば、画像信号の処理の説明、音声信号と画像信号との合成処理、合成された信号の処理、音声信号と画像信号との分離処理などの処理)は、実施の形態1と同じようにして行われるので、その説明を省略する。
【0191】
先ず、予め、ユーザは、入力部31を用いて、所定の音響信号を特定する情報を入力する。すると、入力された所定の音響信号を特定する情報は、音響情報処理部20に送られる。
【0192】
そして、音声信号復号化部18から、復号化処理が施された受信音声信号が受信側分析部19に送られる。受信側分析部19は、送られてきた受信音声信号において、無音声が連続する時間である無音時間を計測する(S400)。なお、S400の処理は、例えば、通話状態が終了するまで行われる。そして、受信側分析部19は、計測した無音時間を音響情報処理部20に送る。
【0193】
また、受信側分析部19は、無音時間の計測処理を終えた後、受信音声信号を、受信側重畳部21に出力する。受信側重畳部21は、受信音声信号をいったん保持する(S405)。
【0194】
音響情報処理部20は、計測された無音時間が、対応テーブルに含まれる最も短い無音時間(例えば、T3秒)に達したか否かを判断する(S410)。計測された無音時間が、上記無音時間に達しない場合には、音響情報処理部20は、上記所定の音響信号を記憶制御部14、記憶部15を介して、読み出す。そして、音響情報処理部20は、上記所定の音響信号を受信側重畳部21に送信する。受信側重畳部21は、保持していた受信音声信号と、上記所定の音響信号とを合成して、スピーカ部22に出力する(S415)。そして、S410の処理が行われる。
【0195】
一方、計測した無音時間が、上記無音時間に達した場合には、音響情報処理部20は、以下の処理を行う。
【0196】
音響情報処理部20は、対応テーブルを参照して、上記無音時間に対応するアドレス情報を記憶制御部14に送るとともに、無音時間に対応する音響信号の要求を示す信号を記憶制御部14に送る(S420)。例えば、図10に示すように、計測した通話時間がT3秒の場合、音響情報処理部20は、対応テーブルを参照して、無音時間T3秒に対応するアドレス情報cを記憶制御部14に送る。
【0197】
記憶制御部14は、上記要求を示す信号と、アドレス情報とに基づいて、記憶部15に記憶されている複数の音響信号のうち、上記アドレス情報に記憶されている音響信号を選択して取得し、音響情報処理部20に送る(S425)。
【0198】
音響情報処理部20は、送られてきた音響信号を受信側重畳部21に送信する。受信側重畳部21は、保持していた受信音声信号と、送られてきた音響信号とを合成し、スピーカ部22に出力する(S430)。
【0199】
そして、音響情報処理部20は、一定時間経過後、受信側分析部19にアクセスして、無音時間が継続しているか否かを判断する(S435)。
【0200】
無音時間が継続していない場合、音響情報処理部20は、選択して取得された音響信号を受信側重畳部21に送信するのを中断する。そして、音響情報処理部20は、上記所定の音響信号を記憶制御部14、記憶部15を介して、読み出す。そして、音響情報処理部20は、上記所定の音響信号を受信側重畳部21に送信する。受信側重畳部21は、保持していた受信音声信号と、上記所定の音響信号とを合成して、スピーカ部22に出力する(S440)。そして、S410の処理が行われる。
【0201】
無音時間が継続している場合、音響情報処理部20は、計測された無音時間が、対応テーブルに含まれる次に短い無音時間(例えば、T4秒)に達したか否かを判断する(S445)。上記無音時間に達していない場合、S425の処理へ移行する。
【0202】
上記無音時間に達している場合、音響情報処理部20は、対応テーブルを参照して、無音時間に対応するアドレス情報を記憶制御部14に送るとともに、無音時間に対応する音響信号の要求を示す信号を記憶制御部14に送る(S450)。
【0203】
記憶制御部14は、上記要求を示す信号と、アドレス情報とに基づいて、記憶部15に記憶されている複数の音響信号のうち、記憶部15のアドレス情報に記憶されている音響信号を選択して取得し、音響情報処理部20に送る(S455)。
【0204】
音響情報処理部20は、送られてきた音響信号を受信側重畳部21に送信する。受信側重畳部21は、保持していた受信音声信号と、送られてきた音響信号とを合成し、スピーカ部22に出力する(S460)。
【0205】
そして、音響情報処理部20は、一定時間経過後、受信側分析部19にアクセスして、無音時間が継続しているか否かを判断する(S465)。無音時間が継続している場合、S455の処理へ移行する。
【0206】
無音時間が継続していない場合、音響情報処理部20は、選択して取得された音響信号を受信側重畳部21に送信するのを中断する。そして、音響情報処理部20は、上記所定の音響信号を記憶制御部14、記憶部15を介して、読み出す。そして、音響情報処理部20は、上記所定の音響信号を受信側重畳部21に送信する。受信側重畳部21は、保持していた受信音声信号と、上記所定の音響信号とを合成して、スピーカ部22に出力する(S470)。そして、S410の処理が行われる。
【0207】
上述した説明では、対応テーブルには、2つの無音時間が含まれている場合の説明が行われたが、3つ以上の無音時間が含まれている場合も本発明の適用は可能である。
【0208】
このようにして、計測された無音時間が、対応テーブルに含まれる無音時間を経過するごとに、所定の音響信号が選択される。そして、選択された所定の音響信号は、受信音声信号と合成されて、スピーカ部22から出力される。
【0209】
また、上述した説明において、受信を送信に置き換え、スピーカ部22を音声信号符号化部27に置き換えることにより、送信側重畳部26は、計測された無音時間が、対応テーブルに含まれる通話時間を経過するごとに、所定の音響信号が選択される。そして、選択された所定の音響信号は、送信音声信号と合成されて、画像信号符号化部29に出力される。
【0210】
本変更例によれば、受信側分析部19/送信側分析部25は、受信音声信号及び/又は送信音声信号における無音声が連続する時間である無音時間を計測する。そして、音響情報処理部20、記憶制御部14は、計測された無音時間に基づいて、記憶部15に記憶された複数の音響信号のうち、所定の音響信号を選択する。
【0211】
音響情報処理部20、記憶制御部14による選択処理の一例は、例えば、以下のとおりである。記憶部15には、各無音時間と、音響信号を特定する情報とが対応づけられた対応テーブルが記憶されている。音響情報処理部20は、対応テーブルを参照して、計測された無音時間に対応する音響信号を、所定の音響信号として、選択するように記憶制御部に指示する。記憶制御部14は、上記指示を実行する。
【0212】
このため、例えば、各無音時間が経過するごとに、別の音響信号が選択されて、送信音声信号及び/又は受信音声信号に合成され、別の音響信号が通話音声信号とともに、出力されたり、通話相手の携帯電話機1に送信される。この結果、会話が盛り上がらないため、話者の一方又は双方が、声を出さない状態が長く続いても、突然、別の音響信号を通話者が聞くことになるので、例えば、その音響信号により通話者の気分が変わり、通話の盛り上げに役立つことになる。
【0213】
なお、本変更例では、受信音声信号に合成する所定の音響信号の選択処理(及び所定の音響信号と受信音声信号との合成処理)と、送信音声信号に合成する所定の音響信号の選択処理(及び所定の音響信号と送信音声信号との合成処理)とをともに、行っていたが、以下のように変更されてもよい。即ち、受信音声信号に合成する所定の音響信号の選択処理と、送信音声信号に合成する所定の音響信号の選択処理のうち、いずれか一方のみが行われるようにしてもよい。
【0214】
(実施の形態2の変更例2)
また、上述した実施の形態2は、以下のように変更されてもよい。受信側分析部19は、受信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の受信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段でもある。送信側分析部25は、送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の送信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段でもある。
【0215】
音響情報処理部20、記憶制御部14は、計測された、所定時間内の受信音声信号及び/又は送信音声信号のテンポに関する情報に基づいて、記憶部15に記憶された複数の音響信号のうち、所定の音響信号を選択する。
【0216】
音響情報処理部20、記憶制御部14による選択処理の具体的な説明は、以下のとおりである。記憶部15には、各テンポに関する情報と、音響信号を特定する情報とが対応づけられた対応テーブルが記憶されている。本変更例の対応テーブルは、実施の形態1,2、実施の形態2の変更例1の対応テーブルと異なる。
【0217】
図13は、本変更例の対応テーブルの一例を示す図である。対応テーブルにおいては、各テンポに関する情報(所定時間の受信音声信号における有音声部分から無音声部分への変化の回数と、所定時間の受信音声信号における無音声部分から有音声部分への変化の回数との和の値)と、音響信号の名称と、アドレス情報(音響信号を特定する情報)とが対応づけられている。以下、上記和の値を、無/有音声回数という。以下、テンポに関する情報の一例として、この無/有音声回数を用いた説明を行う。
【0218】
音響情報処理部20は、対応テーブルを参照して、計測された、所定時間内の前記受信音声信号及び/又は前記送信音声信号のテンポに関する情報に対応する音響信号を、所定の音響信号として、選択するように記憶制御部14に指示する。記憶制御部は、上記指示を実行する。
【0219】
(動作)
以下、本変更例の特徴的部分の動作について説明する。図14は、本動作を説明するためのフローチャート図である。なお、本動作では、特に、音声信号の処理(受信側分析部19に受信音声信号を送られた後、受信側分析部19,受信側重畳部21、音響情報処理部20などで所定の処理が行われて、スピーカ部22から出力される処理、送信側分析部25に送信音声信号が送られた後、送信側分析部25,送信側重畳部26、音響情報処理部20などで所定の処理が行われて、音声信号符号化部27に出力される処理)について説明する。なお、以下に示す処理以外の処理(例えば、画像信号の処理の説明、音声信号と画像信号との合成処理、合成された信号の処理、音声信号と画像信号との分離処理などの処理)は、実施の形態1と同じようにして行われるので、その説明を省略する。
【0220】
音声信号復号化部18から、復号化処理が施された受信音声信号が受信側分析部19に送られる。受信側分析部19は、送られてきた受信音声信号に基づいて、以下の処理を行う。受信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の受信音声信号における無/有音声回数を、所定時間ごとに、計測する(S500)。
【0221】
この処理の具体的な説明は、以下のとおりである。例えば、受信側分析部19は、T分間の受信音声信号のテンポに関する情報を、T分間ごとに、計測する。また、受信側分析部19は、T分間の受信音声信号における無/有音声回数として、T分間の受信音声信号における有音声部分から無音声部分への変化の回数と、T分間の受信音声信号における無音声部分から有音声部分への変化の回数との和の値を計測する。例えば、T分間の受信音声信号における有音声部分から無音声部分への変化の回数が3回であり、無音声部分から有音声部分への変化の回数が7回である場合、受信側分析部19は、T分間の受信音声信号における無/有音声回数として、10回を計測する。そして、受信側分析部19は、受信音声信号における無/有音声回数を音響情報処理部20に送る。
【0222】
また、受信側分析部19は、受信音声信号における無/有音声回数の計測処理を終えた後、所定時間分の受信音声信号を、受信側重畳部21に出力する。受信側重畳部21は、上記所定時間分の受信音声信号をいったん保持する(S505)。
【0223】
音響情報処理部20は、対応テーブルを参照して、受信音声信号における無/有音声回数に対応するアドレス情報を記憶制御部14に送るとともに、音響信号の要求を示す信号を記憶制御部14に送る(S510)。
【0224】
例えば、図13に示すように、受信音声信号における無/有音声回数がX回(B回からC回の間の回数)であった場合、音響情報処理部20は、対応テーブルを参照して、受信音声信号における無/有音声回数に対応するアドレス情報fを記憶制御部14に送る。
【0225】
記憶制御部14は、上記要求を示す信号と、アドレス情報とに基づいて、記憶部15に記憶されている複数の音響信号のうち、上記アドレス情報に記憶されている音響信号を選択して取得し、音響情報処理部20に送る(S515)。
【0226】
音響情報処理部20は、所定時間分の音響信号を受信側重畳部21に送信する。受信側重畳部21は、保持していた受信音声信号と、送られてきた音響信号とを合成し、スピーカ部22に出力する(S520)。
【0227】
このようにして、受信音声信号について、計測されたテンポに関する情報に対応する音響信号が選択される。そして、選択された音響信号は、受信音声信号と合成されて、スピーカ部22から出力される。
【0228】
また、上述した説明において、受信を送信に置き換え、スピーカ部22を音声信号符号化部27に置き換えることにより、送信音声信号について、計測されたテンポに関する情報に対応する音響信号が選択される。そして、選択された音響信号は、送信音声信号と合成されて、音声信号符号化部27に出力される。
【0229】
本変更例の携帯電話機1の受信側分析部19/送信側分析部25は、受信音声信号及び/又は送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の受信音声信号及び/又は送信音声信号のテンポに関する情報を、所定時間ごとに、計測する。そして、音響情報処理部20、記憶制御部14は、計測された、所定時間内の受信音声信号及び/又は送信音声信号のテンポに関する情報に基づいて、記憶部15に記憶された複数の音響信号のうち、所定の音響信号を選択する。
【0230】
音響情報処理部20、記憶制御部14による選択処理の一例は、例えば、以下のとおりである。記憶部15には、各テンポに関する情報と、音響信号を特定する情報とが対応づけられた対応テーブルが記憶されている。音響情報処理部20は、対応テーブルを参照して、計測された、所定時間内の受信音声信号及び/又は送信音声信号のテンポに関する情報に対応する音響信号を、所定の音響信号として、選択するように記憶制御部14に指示する。記憶制御部14は、上記指示を実行する。
【0231】
このため、例えば、受信音声信号のテンポ又は送信音声信号のテンポに基づいて、別の音響信号が選択されて、送信音声信号及び/又は受信音声信号に合成され、別の音響信号が通話音声信号とともに、出力されたり、通話相手の携帯電話機1に送信される。この結果、話者の一方又は双方の通話のテンポが変わった場合、突然、別の音響信号を通話者が聞くことになるので、例えば、その音響信号により通話者の気分が変わり、通話の盛り上げに役立つことになる。
【0232】
また、対応テーブルに含まれる、各テンポに関する情報に対応する音響信号のテンポは、各テンポに関する情報に対応するテンポであるようにしてもよい。この場合には、通話に関する音声信号のテンポと異なるテンポの音響信号が合成されてしまうような状態がないので、通話の妨げになるという事態が防止される。また、例えば、通話に関する音声信号のテンポに従ったテンポの音響信号が合成されるので、通話者の気分が盛り上がり、通話を盛り上げることも可能となる。
【0233】
なお、本変更例では、受信音声信号に合成する所定の音響信号の選択処理(及び所定の音響信号と受信音声信号との合成処理)と、送信音声信号に合成する所定の音響信号の選択処理(及び所定の音響信号と送信音声信号との合成処理)とをともに、行っていたが、以下のように変更されてもよい。即ち、受信音声信号に合成する所定の音響信号の選択処理と、送信音声信号に合成する所定の音響信号の選択処理のうち、いずれか一方のみが行われるようにしてもよい。
【0234】
また、送信側分析部25により計測された、送信音声信号のテンポに関する情報に基づいて、受信音声信号に合成する音響信号の選択処理と、送信音声信号に合成する音響信号の選択処理とが行われるようにしてもよい。また、受信側分析部19により計測された、受信音声信号のテンポに関する情報に基づいて、受信音声信号に合成する音響信号の選択処理と、送信音声信号に合成する音響信号の選択処理とが行われるようにしてもよい。
【0235】
また、音響情報処理部20は、受信側分析部19により計測された所定時間内の受信音声信号のテンポに関する情報と、所定時間内の送信音声信号のテンポに関する情報とに基づいて、所定時間内の送受信音声信号のテンポに関する情報を、所定時間ごとに、計測してもよい。
【0236】
例えば、音響情報処理部20は、T分間の受信音声信号における無/有音声回数と、T分間の送信音声信号における無/有音声回数と、の平均値を、T分間の送受信音声信号の無/有音声回数として、計測してもよい。
【0237】
(実施の形態2の変更例3)
本変更例では、実施の形態1又はその変更例と、実施の形態2,実施の形態2の変更例1,実施の形態2の変更例2とを組み合わせることも可能である。
【0238】
この場合、実施の形態1又はその変更例では、音響信号の音量値の制御が示されているが、実施の形態2又はその変更例では、所定の音響信号の選択処理が示されている。このため、実施の形態2,その変更例1,2を同時に適用する場合には、実施の形態2に従った場合に選択される所定の音響信号と、実施の形態2の各変更例に従った場合に選択される所定の音響信号とは異なる場合がある。
【0239】
このような場合、例えば、通話時間に基づいて行われる選択処理の優先度を低くし、無音時間に基づいて行われる選択処理の優先度を高くし、テンポに関する情報に基づいて行われる選択処理においては、音響信号の選択処理を行わず、
音響信号のテンポの制御を行うようにしてもよい。これにより、実施の形態1又は、その変更例,実施の形態2、実施の形態2の変更例1,実施の形態2の変更例2を同時に適用することが可能となる。
【0240】
また、実施の形態1又は、その変更例,実施の形態2、実施の形態2の変更例1,実施の形態2の変更例2の機能を同時に有する携帯電話機1の場合、例えば、ユーザが入力部31を用いて、いずれかの機能が実行されるようにする指示を入力できるようにしてもよい。これにより、入力部31に入力された指示に基づいて、携帯電話機1において、実施の形態1又は、その変更例,実施の形態2、実施の形態2の変更例1,実施の形態2の変更例2の機能のうち、いずれかの機能だけが実行されるようにしてもよい。
【0241】
また、実施の形態1又はその変更例、実施の形態2,実施の形態2の変更例1,変更例2のうち、いずれか2以上の機能を同時に適用する場合、例えば、以下のようにして、所定の音響信号が選択され、上記所定の音響信号の音量値が制御されるようにしてもよい。
【0242】
記憶部15には、例えば、受信音声信号の音量値と、受信音声信号のテンポに関する情報(受信音声信号の有/無音声回数)と、送信音声信号の音量値と、送信音声信号のテンポに関する情報(送信音声信号の有/無音声回数)と、通話時間と、音響信号の名称と、アドレス情報(音響信号を特定する情報)と、音響信号の音量値と、音響信号のテンポとが対応づけられている対応テーブルが記憶されている。図15は、上記対応テーブルの一例を示す図である。また、図16は、本変更例の特徴的な動作の概念を説明するためのフローチャート図である。なお、本動作では、特に、音声信号の処理(受信側分析部19に受信音声信号を送られた後、受信側分析部19,受信側重畳部21、音響情報処理部20などで所定の処理が行われる処理、送信側分析部25に送信音声信号が送られた後、送信側分析部25,送信側重畳部26、音響情報処理部20などで所定の処理が行われる処理)について説明する。なお、以下に示す処理以外の処理は、実施の形態1、実施の形態2と同じようにして行われるので、その説明を省略する。
【0243】
そして、受信側分析部19は、受信音声信号の音量値を計測するとともに、受信音声信号の有/無音声回数を計測し、送信側分析部25は、送信音声信号の音量値を計測するとともに、送信音声信号の有/無音声回数を計測し、音響情報処理部20は、通話時間を計測する(S600)。これらの情報は、音響情報処理部20に送られる。
【0244】
音響情報処理部20は、対応テーブルを参照して、これらの情報に対応する音響信号を選択して取得するように記憶制御部14に指示する。記憶制御部14は、上記指示を実行して、計測された、これらの情報に対応する音響信号を音響情報処理部20に送る。また、音響情報処理部20は、対応テーブルを参照して、上記これらの情報に対応する音響信号の音量値、テンポ値を取得する(S610)。そして、音響情報処理部20は、取得した音量値、テンポ値になるように、取得した音響信号を制御した後、受信側重畳部21、送信側重畳部26に出力する(S620)。そして、受信側重畳部21、保持していた受信音声信号と、出力された音響信号とを合成する。送信側重畳部26は、保持していた送信音声信号と、出力された音響信号とを合成する。その後の処理は、実施の形態2の場合と同じである。
【0245】
例えば、受信音声信号の音量値がA1(dB)、受信音声信号の有/無音声回数がa1(回)、送信音声信号の音量値がA2(dB)、送信音声信号の有/無音声回数がa2(回),通話時間がα1秒であるとする。
【0246】
この場合、音響情報処理部20は、対応テーブルを参照して、これらの情報(受信音声信号の音量値がA1(dB)、受信音声信号の有/無音声回数がa1(回)、送信音声信号の音量値がA2(dB)、送信音声信号の有/無音声回数がa2(回),通話時間がα1秒)に対応する音響信号に関する情報を取得する。
【0247】
音響信号に関する情報とは、例えば、アドレス情報(アドレスa3),音響信号の音量値(例えば、α2(dB))、音響信号のテンポ値(例えば、α3(BPM))である。
【0248】
そして、音響情報処理部20は、アドレス情報に基づいて、記憶制御部14を介して、記憶部15から、上記音響信号(例えば、音響信号A)を取得する。そして、音響情報処理部20は、取得した音量値(例えば、α2(dB))、テンポ値(例えば、α3(BPM))になるように、取得した音響信号を制御した後、受信側重畳部21、送信側重畳部26に出力する。
【0249】
なお、音響情報処理部20は、取得した音響信号を制御した後、受信側重畳部21及び送信側重畳部26に出力するようにしてもよいし、受信側重畳部21及び送信側重畳部26のうち、いずれか一方のみに出力するようにしてもよい。
【0250】
(実施の形態1,2の変更例1)
図17は、本変更例の携帯電話機の構成を示す図である。携帯電話機1には、対応テーブル、音響情報を記憶する記憶装置から、対応テーブル、音響情報を取得する取得手段として、情報通信部32が設けられても良い。
【0251】
例えば、情報通信部32は、1又は複数の音響情報、1又は複数の対応テーブルを格納する記憶装置から、例えば、近距離無線通信、赤外線通信を介して、1又は複数の音響情報、1又は複数の対応テーブルを取得する。取得された1又は複数の音響情報、1又は複数の対応テーブルは、記憶制御部14を介して、記憶部15に送られる。
【0252】
なお、情報通信部32は、ICカードインターフェイス部であってもよい。そして、ICカードインターフェイス部は、対応テーブル、音響情報が記録されたICカードから、対応テーブル、音響情報を読み出し、取得するようにしてもよい。
【0253】
(実施の形態1,2の変更例2)
また、入力部31には、ユーザにより、対応テーブルに含まれる情報、対応テーブルの書き換え要求を示す情報が入力されてもよい。
【0254】
そして、入力部31に入力された対応テーブルに含まれる情報、上記書き換え要求は、記憶制御部14に送られる。記憶制御部14は、上記対応テーブルに含まれる情報と、上記書き換え要求とに基づいて、記憶部15から対応テーブルを読み出し、対応テーブルに含まれる情報のうち、入力部31に入力された、対応テーブルに含まれる情報に対応する情報の書き換え処理を行うようにしてもよい。
【0255】
本変更例によれば、音響信号の変更があった場合や、音響信号に対応する情報が変化したような場合でも、速やかに対応できる。
【0256】
従って、特開2002−271494号公報に示される「効果音付加型通話システム」では、選択操作簡略化のためには、予めどの番号かどの効果音に対応するかの信号を発呼者に知らせておく必要があるが、仮に対応信号や効果音の内容に変更があった場合、変更した信号を発呼者に知らせなければならず、多大な労力を必要とする。また、特開2002−51116号公報に示される移動体通信装置においても、記憶されている効果音データとテンキーの対応が、固定的に割り付けてあるために、対応内容を変更することができない。本変更例によれば、音響信号の変更があった場合や、音響信号に対応する情報が変化したような場合でも、速やかに対応できる。
【0257】
(実施の形態1,2の変更例3)
上述した実施の形態1,2、各変更例では、通話相手の電話機として、携帯電話機1を用いて説明したが、本発明では、これに限定されない。例えば、通信相手の電話機は、固定電話機であってもよい。この場合、交換装置5は、固定電話網の交換装置5と接続されている。携帯電話機1と、固定電話機との間のデータ通信は、従来技術と同様にして行われる。
【0258】
なお、上述した実施の形態1,2、その各変更例においては、音声信号(送信音声信号と音響信号とが合成された音声信号、受信音声信号と音響信号とが合成された音声信号)と画像信号とが合成された信号が、通話中の携帯電話機間(又は携帯電話機と固定電話機との間)でやりとりされる場合の説明が行われたが、本発明は、この場合に限定されることはない。例えば、通話中の携帯電話機間(又は携帯電話機と固定電話機との間)で、音声信号(送信音声信号と音響信号とが合成された音声信号、受信音声信号と音響信号とが合成された音声信号)だけがやりとりされてもよい。
【0259】
この場合には、図2に示す携帯電話機において、画像信号に関する処理を行う機能部(ディスプレイ部18、撮影部28、画像信号復号化部17、画像信号符号化部29、分離化部16,多重化部30)が存在しない。そして、音声信号復号化部18は直接、無線受信部11から音声信号を取得し、音声信号符号化部29は直接、無線送信部12に音声信号を送る。
【0260】
【発明の効果】
以上説明したように、本発明によれば、通話中の送信音声信号及び/又は受信音声信号の変化に応じて、音響信号を変化させることにより、通話の妨げになることを防止するか、又は、通話を盛り上げることができる。この結果、音声会話の雰囲気を盛り上げ、活性化させることが可能になる。
【図面の簡単な説明】
【図1】実施の形態1の通信システムの構成を示す図である。
【図2】実施の形態1の携帯電話機の構成を示す図である。
【図3】実施の形態1の対応テーブルの一例を示す図である。
【図4】実施の形態1の通信方法の説明を補足するための図である。
【図5】実施の形態1の通信方法の一部を説明するためのフローチャート図である。
【図6】実施の形態1の通信方法の一部を説明するためのフローチャート図である。
【図7】実施の形態2の対応テーブルの一例を示す図である。
【図8】実施の形態2の携帯電話機の動作の一部を説明するためのフローチャート図である。
【図9】実施の形態2の携帯電話機の動作の一部を説明するためのフローチャート図である。
【図10】実施の形態2の変更例1の対応テーブルの一例を示す図である。
【図11】実施の形態2の変更例1の携帯電話機の動作の一部を説明するためのフローチャート図である。
【図12】実施の形態2の変更例1の携帯電話機の動作の一部を説明するためのフローチャート図である。
【図13】実施の形態2の変更例2の対応テーブルの一例を示す図である。
【図14】実施の形態2の変更例2の携帯電話機の動作の一部を説明するためのフローチャート図である。
【図15】実施の形態2の変更例3の対応テーブルの一例を示す図である。
【図16】実施の形態2の変更例3の携帯電話機の動作の一部を説明するためのフローチャート図である。
【図17】実施の形態1、2の変更例1の携帯電話機の構成を示す図である。
【符号の説明】
1 携帯電話機、4 基地局、5 交換装置、6 情報提供サーバ装置、11無線受信部、12 無線送信部、13 通信制御部、14 記憶制御部、15記憶部、16 分離化部、17 画像信号復号化部、18 ディスプレイ部、19 受信側分析部、20 音響情報処理部、21 受信側重畳部、22 スピーカ部、23 マイク部、24 ノイズキャンセリング部、25 送信側分析部、26 送信側重畳部、27 音声信号符号化部、28 撮影部、29 画像信号符号化部、30 多重化部、31 入力部、32 情報通信部。

Claims (15)

  1. 通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する携帯通信装置であって、
    前記受信音声信号及び/又は前記送信音声信号に基づいて、前記送信音声信号及び/又は前記受信音声信号に合成する音響信号を制御する制御手段を有することを特徴とする携帯通信装置。
  2. 前記受信音声信号及び/又は前記送信音声信号の音量を時系列に従って、計測する計測手段を有し、
    前記制御手段は、前記計測手段により計測された、前記受信音声信号及び/又は前記送信音声信号の音量に基づいて、前記送信音声信号及び/又は前記受信音声信号に合成する音響信号の音量を制御することを特徴とする請求項1に記載の携帯通信装置。
  3. 前記受信音声信号及び/又は前記送信音声信号の音量に基づいて所定の関係式に従って算出される第1音量値と、前記受信音声信号及び/又は前記送信音声信号に合成する音響信号の実際の音量値である第2音量値とが対応づけられた対応テーブルを記憶する記憶手段と、
    前記計測手段により計測された、前記受信音声信号及び/又は前記送信音声信号の音量に基づいて、前記所定の関係式に従って、第1音量値を算出し、算出された第1音量値と、前記対応テーブルとに基づいて、前記第1音量値に対応する第2音量値を取得する取得手段とを有し、
    前記制御手段は、前記取得手段により取得された第2音量値となるように、前記送信音声信号及び/又は前記受信音声信号に合成する音響信号の音量を制御することを特徴とする請求項2に記載の携帯通信装置。
  4. 前記受信音声信号及び/又は前記送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の前記受信音声信号及び/又は前記送信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段を有し、
    前記制御手段は、前記計測手段により計測された、前記所定時間内の前記受信音声信号及び/又は前記送信音声信号のテンポに関する情報に基づいて、前記送信音声信号及び/又は前記受信音声信号に合成する音響信号のテンポを制御することを特徴とする請求項1に記載の携帯通信装置。
  5. 通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する携帯通信装置であって、
    複数の音響信号を記憶する記憶手段と、
    前記受信音声信号及び/又は前記送信音声信号に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択する選択手段と、
    前記受信音声信号又は前記送信音声信号と、前記所定の音響信号とを合成する合成手段とを有することを特徴とする携帯通信装置。
  6. 通話相手の通信装置との間で、前記受信音声信号又は前記送信音声信号の送受信を開始してから現在までの時間である通話時間を計測する計測手段を有し、
    前記選択手段は、前記計測手段により計測された通話時間に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択することを特徴とする請求項5に記載の携帯通信装置。
  7. 各通話時間と、音響信号を特定する情報とが対応づけられた対応テーブルを記憶する記憶手段を有し、
    前記選択手段は、前記対応テーブルを参照して、前記計測手段により計測された通話時間に対応する音響信号を、前記所定の音響信号として選択することを特徴とする請求項6に記載の携帯通信装置。
  8. 前記受信音声信号及び/又は前記送信音声信号における無音声が連続する時間である無音時間を計測する計測手段を有し、
    前記選択手段は、前記計測手段により計測された無音時間に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択することを特徴とする請求項5に記載の携帯通信装置。
  9. 各無音時間と、音響信号を特定する情報とが対応づけられた対応テーブルを記憶する記憶手段を有し、
    前記選択手段は、前記対応テーブルを参照して、前記計測手段により計測された無音時間に対応する音響信号を、前記所定の音響信号として、選択することを特徴とする請求項8に記載の携帯通信装置。
  10. 前記受信音声信号及び/又は前記送信音声信号における有音声部分から無音声部分へ変化する回数と、無音声部分から有音声部分へ変化する回数とに基づいて、所定時間内の前記受信音声信号及び/又は前記送信音声信号のテンポに関する情報を、所定時間ごとに、計測する計測手段を有し、
    前記選択手段は、前記計測手段により計測された、前記所定時間内の前記受信音声信号及び/又は前記送信音声信号のテンポに関する情報に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択することを特徴とする請求項5に記載の携帯通信装置。
  11. 各テンポに関する情報と、音響信号を特定する情報とが対応づけられた対応テーブルを記憶する記憶手段を有し、
    前記選択手段は、前記対応テーブルを参照して、前記計測手段により計測された、前記所定時間内の前記受信音声信号及び/又は前記送信音声信号のテンポに関する情報に対応する音響信号を、前記所定の音響信号として、選択することを特徴とする請求項10に記載の携帯通信装置。
  12. 前記対応テーブルを記憶する記憶装置から、前記対応テーブルを取得する取得手段と、
    前記取得手段により取得された前記対応テーブルを、前記記憶手段に記憶させる記憶制御手段とを有することを特徴とする請求項3に記載の携帯通信装置。
  13. 前記対応テーブルに含まれる情報を入力するための入力手段と、
    前記入力手段により入力された前記対応テーブルに含まれる情報に基づいて、前記記憶手段に記憶されている対応テーブルの書き換えを行う書き換え手段とを有することを特徴とする請求項3,7、9、11、12に記載の携帯通信装置。
  14. 通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する通信方法であって、
    前記受信音声信号及び/又は前記送信音声信号に基づいて、前記送信音声信号及び/又は前記受信音声信号に合成する音響信号を制御することを特徴とする通信方法。
  15. 通話相手の通信装置から受信する音声信号である受信音声信号、又は、前記通話相手の通信装置に送信する音声信号である送信音声信号に合成するための音響信号を、前記受信音声信号と合成して、出力するか、又は前記音響信号を前記送信音声信号と合成して、前記通話相手の通信装置に送信する通信方法であって、
    複数の音響信号を記憶手段に記憶するステップと、
    前記受信音声信号及び/又は前記送信音声信号に基づいて、前記記憶手段に記憶された複数の音響信号のうち、所定の音響信号を選択するステップと、
    前記受信音声信号又は前記送信音声信号と、前記所定の音響信号とを合成するステップとを有することを特徴とする通信方法。
JP2003137767A 2003-05-15 2003-05-15 携帯通信装置、通信方法 Expired - Fee Related JP3773917B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003137767A JP3773917B2 (ja) 2003-05-15 2003-05-15 携帯通信装置、通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003137767A JP3773917B2 (ja) 2003-05-15 2003-05-15 携帯通信装置、通信方法

Publications (2)

Publication Number Publication Date
JP2004343443A true JP2004343443A (ja) 2004-12-02
JP3773917B2 JP3773917B2 (ja) 2006-05-10

Family

ID=33527360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003137767A Expired - Fee Related JP3773917B2 (ja) 2003-05-15 2003-05-15 携帯通信装置、通信方法

Country Status (1)

Country Link
JP (1) JP3773917B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7737037B2 (en) 2004-11-29 2010-06-15 Nec Electronics Corporation Semiconductor device and method of manufacturing the same
WO2011039884A1 (ja) * 2009-10-01 2011-04-07 富士通株式会社 音声通話装置
JP5836400B2 (ja) * 2013-04-30 2015-12-24 楽天株式会社 音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7737037B2 (en) 2004-11-29 2010-06-15 Nec Electronics Corporation Semiconductor device and method of manufacturing the same
WO2011039884A1 (ja) * 2009-10-01 2011-04-07 富士通株式会社 音声通話装置
US8526578B2 (en) 2009-10-01 2013-09-03 Fujitsu Limited Voice communication apparatus
JP5321687B2 (ja) * 2009-10-01 2013-10-23 富士通株式会社 音声通話装置
JP5836400B2 (ja) * 2013-04-30 2015-12-24 楽天株式会社 音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラム
US9564147B2 (en) 2013-04-30 2017-02-07 Rakuten, Inc. Audio communication system, audio communication method, audio communication purpose program, audio transmission terminal, and audio transmission terminal purpose program

Also Published As

Publication number Publication date
JP3773917B2 (ja) 2006-05-10

Similar Documents

Publication Publication Date Title
JP5149292B2 (ja) 音声およびテキスト通信システム、方法および装置
US11482240B2 (en) Presentation of communications
KR100389521B1 (ko) 음성 처리 방법, 이를 이용한 전화 및 중계국
JP2003511884A (ja) 出力オーディオ信号が生ずる間に入力音声信号を処理する方法および装置
JP2007306429A (ja) 無線通信端末装置、無線通信方法及びプログラム
JP2002247144A (ja) 携帯電話装置およびその着信方法
JP3773917B2 (ja) 携帯通信装置、通信方法
WO2001075863A1 (en) A method of transmitting voice information and an electronic communications device for transmission of voice information
JP2002118689A (ja) 携帯電話の発信時相手応答に対する自動音声再生機能
JP3915716B2 (ja) 電話メッセージシステム、コンテンツサーバ、および、通話転送システム
JP2004343566A (ja) 移動電話端末及びプログラム
JP2001195100A (ja) 音声処理回路
JP2006295468A (ja) 携帯通信端末装置
JP2002237877A (ja) ハンズフリーシステム、携帯電話およびハンズフリー装置
KR20070070481A (ko) 이동 단말기에서 배경음을 제공하는 방법 및 장치
JP2007179305A (ja) メッセージ変換サーバ及びシステム、情報処理装置
JP2008211400A (ja) 定型メッセージ機能付きPoCシステム、通信方法、通信プログラム、端末、PoCサーバ
JP2003250006A (ja) 電話機の通話システムおよび通話方法
JP2001077947A (ja) 音声帯域信号制御方式
JP3477099B2 (ja) 電話装置
KR20060101058A (ko) 이동통신단말기의 통화 녹음 및 전송 방법
JP2006033261A (ja) 構内交換装置、ゲートウェイ装置及びip電話システム並びにその音声品質制御方法
JP2005295253A (ja) 情報処理装置
JP2007049762A (ja) 電話メッセージシステム、コンテンツサーバ、および、通話転送システム
JP2006180008A (ja) 電話装置およびその制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060215

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120224

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees