JP4110987B2

JP4110987B2 - E-mail system and program

Info

Publication number: JP4110987B2
Application number: JP2003025385A
Authority: JP
Inventors: 大乗石岡
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2003-02-03
Filing date: 2003-02-03
Publication date: 2008-07-02
Anticipated expiration: 2023-02-03
Also published as: JP2004236245A

Description

【０００１】
【発明の属する技術分野】
この発明は、音声録音によって作成された電子メールを送受信する電子メールシステムおよびプログラムに関する。
【０００２】
【従来の技術】
従来、メーラ・ソフト等が搭載されているパーソナルコンピュータ（ＰＣ）、個人用携帯情報端末（ＰＤＡ）、携帯電話等を使用して、電子メールを発信すると、その送信元が加入しているプロバイダ側のメールサーバは、その相手先（宛先）が加入しているプロバイダ側のメールサーバを接続先として決定し、受信メールをその接続先のメールサーバへ配信するようにしているが、その際、電子メールはテキストデータに限らず、音声録音によって作成されたメール（ボイスメール）を送受信するようにしたボイスメールシステムも知られている（特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−２２３８０３号公報
【０００４】
【発明が解決しようとする課題】
ところで、ボイスメールを作成する際、常に静寂な環境で録音できるとは限らず、周囲が騒がしいと、音声メッセージ以外の不要な音（雑音）も録音されてしまう。このようなボイスメールを再生した場合、雑音によってメッセージ内容が聞き取り難くなり、何回も聞き直したり、音量調整を行う必要がある等、メール受信者に多大な迷惑をかける他、聞き違えの危険性も高くなる。
一方、受信したボイスメールの中に雑音が含まれていなくとも、それを再生する際、常に静寂な環境で聴取できるとは限らず、周囲が騒がしいと、聞き取り難くなり、繰り返して何回も聞いたり、音量調整を行う必要があり、また、聞き違えの危険性も高くなる。
【０００５】
第１の発明の課題は、音声メールを録音した時の環境に基づいてそのメールから雑音部分を除去できるようにすることである。
第２の発明の課題は、音声メールを聴取する時の環境に基づいてそのメール内の音声部分を強調できるようにすることである。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、音声録音によって作成された電子メールを送受信する電子メールシステムにおいて、音声録音によって作成された音声メールに、音声メールを作成して送信する送信側のメール端末によって、音声メールを録音した録音場所の種類を示す場所種別が環境情報として付加されている場合に、この環境情報に基づいて最適な雑音除去処理を決定する決定手段と、この決定手段によって決定された最適な雑音除去処理に基づいて音声メールから雑音部分を除去することによって当該メール内容を編集するメール編集手段と、を具備したことを特徴とする。
更に、コンピュータを、上述した請求項１記載の発明に示した主要手段として機能させるためのプログラムを提供する(請求項８記載の発明)。
【０００７】
請求項４記載の発明は、音声録音によって作成された電子メールを送受信する電子メールシステムにおいて、音声メールを受信して聴取する受信側のメール端末から、音声録音によって作成された音声メールを聴取する時の聴取場所の種類を示す場所種別が環境情報として送信されて来た場合に、この環境情報に基づいて最適な音声強調処理を決定する決定手段と、この決定手段によって決定された最適な音声強調処理に基づいて音声メールの音声部分を強調加工することによって当該メール内容を編集するメール編集手段と、を具備したことを特徴とする。
更に、コンピュータを、上述した請求項４記載の発明に示した主要手段として機能させるためのプログラムを提供する(請求項９記載の発明)。
【００１０】
音声メールを作成して送信する送信側のメール端末は、音声メールを録音した録音時間帯を環境情報として当該音声メールに付加する（請求項５記載の発明）。
したがって、請求項５記載の発明によれば、請求項１記載の発明と同様の効果を有する他に、音声メールを録音した録音時間帯を環境情報としたから、同じ場所でも時間帯に応じて雑音の程度や種類が大きく異なる場合でも、どの時間帯で録音されたかに応じてその時間帯特有の雑音部分を効果的に除去することが可能となる。
【００１２】
請求項５記載の発明は、音声録音によって作成された電子メールを送受信する電子メールシステムにおいて、音声メールを受信して聴取する受信側のメール端末から、音声録音によって作成された音声メールを聴取する時の聴取場所の種類を示す場所種別が環境情報として送信されて来た場合に、この環境情報に基づいて最適な音声強調処理を決定する決定手段と、この決定手段によって決定された最適な音声強調処理に基づいて音声メールの音声部分を強調加工することによって当該メール内容を編集するメール編集手段と、を具備したことを特徴とする。
更に、コンピュータを、上述した請求項５記載の発明に示した主要手段として機能させるためのプログラムを提供する(請求項１０記載の発明)。
【００１３】
請求項７記載の発明は、音声録音によって作成された電子メールを送受信する電子メールシステムにおいて、音声メールを受信して聴取する受信側のメール端末から、音声録音によって作成された音声メールを聴取する聴取時間帯が環境情報として送信されて来た場合に、この環境情報に基づいて最適な音声強調処理を決定する決定手段と、この決定手段によって決定された最適な音声強調処理に基づいて音声メールの音声部分を強調加工することによって当該メール内容を編集するメール編集手段と、を具備したことを特徴とする。
更に、コンピュータを、上述した請求項７記載の発明に示した主要手段として機能させるためのプログラムを提供する(請求項１１記載の発明)。
【００１８】
【発明の実施の形態】
（第１実施形態）
以下、図１〜図５を参照してこの発明の第１実施形態を説明する。
図１は、この実施形態におけるボイスメールシステムの全体構成を示したブロック図である。
このボイスメールシステムにおいて、電子メール（ボイスメール）を作成して送信する送信側携帯端末１は、音声録音によって作成されたボイスメールにその録音時の環境を示す環境情報（録音場所および録音時刻）を付加してメールを発信する。この送信側携帯端末１から発信されたボイスメールは、その送信元が加入しているプロバイダ側のメール送信サーバ２へ送られる。メール送信サーバ２は、このメールの相手先（宛先）が加入しているプロバイダ側のメール受信サーバ３を接続先として決定し、ネットワーク４を介してボイスメールをメール受信サーバ３へ配信する。
【００１９】
メール受信サーバ３は、メール送信サーバ２からのボイスメールを受信して保管するメッセージ保存用記憶装置（宛先対応のメールボックス）３１を有し、ボイスメールに環境情報が付加されていれば、この環境情報もメールボックス３１内に保管される。ここで、メール受信サーバ３は、ボイスメールを受信する受信側携帯端末５からメール受信要求（メール配信要求）を受けた場合、その要求元を宛先とするメールを検索して配信する処理を行うが、その際、ボイスメールにその録音時の環境情報が付加されていれば、この環境情報に基づいて最適な雑音低減処理を決定し、ボイスメールから雑音部分を除去（低減）した後に、このボイスメールを要求元の受信側携帯端末５へ配信するようにしている。
【００２０】
メール受信サーバ３は、メールボックス３１、全体動作を制御する中央演算処理装置（ＣＰＵ）３２、データ通信装置３３の他に、この実施形態特有の雑音低減処理決定装置３４、信号処理装置３５等を有する構成となっている。
雑音低減処理決定装置３４は、録音環境別に予め用意されている複数種の雑音低減処理方法Ａ−１、Ａ−２、Ａ−３、‥‥のうち、メール作成時の録音環境に該当する雑音低減処理方法を選択するようしている。つまり、雑音の程度や種類は、メール作成時の録音環境に応じて異なる為に、雑音低減処理決定装置３４は、録音環境対応の低減処理方法を選択する。信号処理装置３５は、複数種の雑音低減処理方法Ａ−１、Ａ−２、Ａ−３、‥‥のうち、雑音低減処理決定装置３４によって選択された雑音低減処理方法に応じてボイスメールから雑音を除去する処理を行うもので、この雑音除去処理が施されたボイスメールは、要求元の受信側携帯端末５へ配信される。
【００２１】
ここで、複数種の雑音低減処理方法Ａ−１、Ａ−２、Ａ−３、‥‥は、録音環境別に予め用意され、メール内の雑音を録音時の環境（雑音の程度や種類）に応じて低減除去する処理を行うもので、以下のようにして実装されたものである。すなわち、先ず、雑音の程度や種類を録音場所および録音時間帯のカテゴリー別に分類した後において、カテゴリー別の雑音を実際の場所および時間帯でサンプル採取する。そして、このサンプル雑音の周波数特性（雑音成分の帯域および雑音の強さ等）と時間特性（雑音の周期性、雑音が発生してからそれが半減するまでの時間等）を雑音カテゴリ毎に解析し、このカテゴリ別の解析結果に基づいて雑音低減アルゴリズムおよび雑音消去用のフィルタ等を作成する。これによって雑音カテゴリ毎に作成された雑音低減アルゴリズムおよび雑音消去用のフィルタ等は、複数種の雑音低減処理方法Ａ−１、Ａ−２、Ａ−３、‥‥として実装される。
【００２２】
図２は、ボイスメール機能付きの携帯端末１、５の基本的構成要素を示したブロック図である。
送信側携帯端末１、受信側携帯端末５は、ボイスメーラ・ソフト等が搭載されているパーソナルコンピュータ（ＰＣ）、個人用携帯情報端末（ＰＤＡ）、携帯電話等であり、その基本的に同様の構成となっている。送信側携帯端末１、受信側携帯端末５は、中央演算処理装置（ＣＰＵ）１１、ＲＡＭおよびＲＯＭ等の主記憶装置１２、フラッシュＲＯＭ等の補助記憶装置１３、データ通信装置１４、タッチパネルおよびキーボード等の入力装置１５、液晶パネル等の表示装置１６、マイクロフォーンおよびＡ／Ｄ変換器等の音声入力装置１７、Ｄ／Ａ変換器およびスピーカ等の音声出力装置１８等を有し、ＣＰＵ１１は、入出力周辺デバイスである入力装置１５、表示装置１６、音声入力装置１７、音声出力装置１８を入出力プログラムにしたがって制御する。
【００２３】
図３は、送信側携帯端末１側に設けられている選択候補テーブル１９の内容を示した図である。
この選択候補テーブル１９は、録音環境（録音場所の種類）を選択する選択候補群を記憶するテーブルであり、例えば、「機械的な音が特に大きく全体的に騒がしい娯楽施設」、「人の声はするが比較的に静寂な仕事場（オフィス）」、「殆ど物音もしない極めて静寂な部屋」、「機械的な音が特に大きく全体的に騒がしい乗り物内」等のように、録音環境を録音場所の種類に応じて分類したものである。この例では、個室（自分の部屋、ホテルの部屋など）、数人程度の共通の部屋（リビングルーム、病室など）、仕事場（会社のオフィスなど）、娯楽施設（映画館、音楽ホールなど）‥‥のカテゴリに分類されている。この選択候補テーブル１９の内容は、ボイスメールを作成した後に一覧表示され、この一覧画面の中からメール録音時の場所を任意に選択指定するようにしている。この選択候補テーブル１９から選択された録音場所は、現在時刻（録音時刻）と共に録音環境を示す環境情報としてボイスメールに付加される。
【００２４】
次に、この第１実施形態におけるボイスメールシステムの動作概念を図４および図５に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作を逐次実行する。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施形態特有の動作を実行することもできる。
【００２５】
図４は、送信側携帯端末１側におけるボイスメール作成時の動作を示したフローチャートである。
先ず、送信側携帯端末１において、そのＣＰＵ１１は、ボイスメールの作成が指示されると、録音可能状態となり、入力された音声メッセージをメール本文として取得して録音する（ステップＡ１）。ここで、録音終了が指示されるまで（ステップＡ２）、音声メッセージの録音が引き続き行われるが（ステップＡ１）、録音終了が指示された場合には、選択候補テーブル１９をアクセスして、録音場所の種類を選択候補として一覧表示させる（ステップＡ３）。
【００２６】
ここで、メール作成者は、この一覧画面の中からメール録音時の場所を選択指定する（ステップＡ４）。例えば、録音場所が個室（自分の部屋、ホテルの部屋など）であれば、１番目の項目を選択し、録音場所が娯楽施設（映画館、音楽ホールなど）であれば、４番目の項目を選択する。このようにして録音場所の選択が行われた後、ＣＰＵ１１は、現在時刻（録音時刻）を取得する（ステップＡ５）。ここで、メール送信が指示されると（ステップＡ６）、ＣＰＵ１１は、録音場所と現在時刻（録音時刻）とを録音時の環境を示す環境情報としてボイスメールに付加した後に（ステップＡ７）、メール送信処理が行われる（ステップＡ８）。なお、メール送信が指示されなければ（ステップＡ６でＮＯ）、作成したボイスメールは、環境情報と共に保存される（ステップＡ９）。
【００２７】
図５は、メール受信サーバ３側におけるメール配信処理を示したフローチャートである。
ここで、メール受信サーバ３は、送信側携帯端末１からメール送信サーバ２を介して送信されて来たボイスメールを受信すると（ステップＢ１）、その受信メールを宛先対応のメールボックス３１に格納する（ステップＢ２）。
一方、受信側携帯端末５からメール受信要求（メール配信要求）を受けた場合には（ステップＢ３）、その要求元を宛先とするメールボックス３１からボイスメールを読み出すと共に（ステップＢ４）、このボイスメールに付加されている環境情報に基づいて録音除去が必要か否かの判別を行う（ステップＢ５およびＢ６）。
【００２８】
すなわち、環境情報内に含まれている録音場所が極めて静寂な場所（例えば、個室など）であれば、録音除去処理は不必要であると判別するが（ステップＢ６でＮＯ）、録音場所が雑音の影響を受け易い他の場所であれば（ステップＢ６でＹＥＳ）、雑音低減処理決定装置３４は、ボイスメールに付加されている環境情報を参照し、録音環境別に予め用意されている複数種の雑音低減処理方法Ａ−１、Ａ−２、Ａ−３、‥‥のうち、メール作成時の録音環境に最適な雑音低減処理方法を選択する（ステップＢ７）。すなわち、メール作成時の録音場所にマッチした雑音低減処理方法を選択した後に、その録音時刻がどの録音時間帯に属するかを調べ、この録音時間帯にマッチした雑音低減処理方法を選択する。その後、信号処理装置３５は、雑音低減処理決定装置３４によって選択された雑音低減処理方法に応じてボイスメールから雑音を除去する処理を行う（ステップＢ８）。このよにして雑音除去処理を施した後のボイスメールは、要求元の受信側携帯端末５へ配信される（ステップＢ９）。
【００２９】
以上のように、この第１実施形態においてメール受信サーバ３は、送信側携帯端末１からメール送信サーバ２を介して送信されて来たボイスメールにその録音時の環境を示す環境情報が付加されている場合、この環境情報に基づいて最適な雑音低減処理方法を決定し、この雑音低減処理方法に基づいて音声メールから雑音部分を除去するようにしたから、音声メッセージと共に雑音が録音されていても、その録音環境に応じて異なる雑音の程度や種類にマッチした雑音低減処理によってメール内の雑音を効果的に低減・除去することができる。この場合、録音場所によって雑音の程度や種類が大きく異なるが、録音場所の種類を環境情報としている為、どのような場所で録音されたかに応じてその場所特有の雑音部分を効果的に除去することが可能となる。したがって、ボイスメール再生時には、雑音による悪影響を受けずに、音声メッセージの内容を正確に聞くことが可能となる為、従来のように音量調整を行いながら何回も聞き直したり、聞き間違えのおそれもない。
【００３０】
一方、ボイスメールを作成して送信する送信側携帯端末１は、ボイスメールを録音した録音場所を環境情報としてボイスメールに付加する際に、選択候補テーブル１９の中から任意に選択した場所を録音環境とするようにしたから、環境情報を容易に入力することができる。
また、環境情報には、ボイスメールを録音した録音時刻も含まれている為、メール受信サーバ３は、どの時間帯で録音されたかに応じてその時間帯特有の雑音部分を効果的に除去することが可能となる。また、メール受信サーバ３は、録音環境別に予め用意されている複数種の雑音低減処理方法のうち、メール録音時の環境に該当する最適な雑音低減処理方法を決定するようにしたから、雑音解析等の面倒な処理を行うことなく、その環境に適した雑音低減処理を効率良く行うことが可能となる。
【００３１】
なお、上述した第１実施形態においては、選択候補テーブル１９の中からメール作成者が任意に選択した場所を録音場所としたが、録音場所を自動的に得るようにしてもよい。すなわち、送信側携帯端末１側に地上系／衛星系移動体通信サービスを利用して現在位置に該当する場所情報を取得する機能を設け、この場所取得機能によって得られた場所を録音場所としてボイスメールに付加するようにしてもよい。
図６は、この場合における送信側携帯端末１側の動作を示したフローチャートである。先ず、音声メッセージの録音を行うと共に（ステップＣ１）、地上系／衛星系移動体通信サービスを利用して現在位置に該当する場所を録音場所として取得する他（ステップＣ３）、現在時刻（録音時刻）を取得した後、この録音場所と現在時刻（録音時刻）とを録音時の環境を示す環境情報として生成する（ステップ）。ここで、メール送信指示の有無をチェックし（ステップＣ４）、メール送信指示が無ければ、ステップに戻るが、メール送信指示が有れば、ボイスメールに環境情報を付加した後に（ステップＣ５）、メール送信処理を行う（ステップＣ６）。
【００３２】
また、上述した第１実施形態においては、メール受信サーバ３が雑音低減処理を実行するようにしたが、メール送信サーバ２側において雑音低減処理を行うようにしてもよい。つまり、雑音低減処理は、メール受信サーバ３に限らず、メール送信サーバ２側で行ってもよい。更には、受信側携帯端末５側で雑音低減処理の一部あるいは全部を行うようにしてもよい。
【００３３】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって音声録音によって作成された音声メールにその録音時の環境を示す環境情報が付加されている場合に、この環境情報に基づいて最適な雑音除去処理を決定する機能と、決定された最適な雑音除去処理に基づいて音声メールから雑音部分を除去することによって当該メール内容を編集する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００３４】
（第２実施形態）
以下、この発明の第２実施形態について図７〜図９を参照して説明する。なお、上述した第１実施形態においてメール受信サーバ３は、送信側携帯端末１からメール送信サーバ２を介して送信されて来たボイスメールにその録音時の環境を示す環境情報が付加されている場合、この環境情報に基づいて最適な雑音低減処理方法を決定し、この雑音低減処理方法に基づいて音声メールから雑音部分を除去するようにしたが、この第２実施形態においては、メール受信サーバ３側で雑音低減処理を実行する他、更に、受信側携帯端末５からボイスメールを聴取する時の聴取環境を示す環境情報が送信されて来た場合に、この環境情報に基づいて最適な音声強調処理を決定し、この音声強調処理に基づいて音声メールの音声部分を強調加工するようにしたものである。
ここで、両実施形態において基本的に同一のものは、同一符号を付して示し、その説明を省略する他、以下、第２実施形態の特徴部分を中心に説明するものとする。
【００３５】
図７は、この第２実施形態におけるボイスメールシステムの全体構成を示したブロック図である。
このボイスメールシステムにおいて、送信側携帯端末１は、上述した第１実施形態と同様に、音声録音によって作成されたボイスメールにその録音時の環境を示す環境情報を付加して発信すると、メール送信サーバ２は、このボイスメールの相手先（宛先）が加入しているプロバイダ側のメール受信サーバ３を接続先として決定し、ネットワーク４を介してボイスメールをメール受信サーバ３へ配信する。
【００３６】
メール受信サーバ３は、上述した第実施形態と同様、雑音除去処理を実行した後に、この雑音除去処理が施されたボイスメールを要求元の受信側携帯端末５へ配信するが、受信側携帯端末５からボイスメールを聴取する時の聴取環境を示す環境情報が送信されて来た場合に、この環境情報に基づいて最適な音声強調処理を決定し、この音声強調処理に基づいて音声メールの音声部分を強調加工する処理を行う。すなわち、メール受信サーバ３は、メールボックス３１、ＣＰＵ３２、データ通信装置３３の他、雑音除去処理装置３６と、この第２実施形態特有の音声強調処理決定装置３７、信号処理装置３８を有する構成となっている。なお、雑音除去処理装置３６は、上述した雑音低減処理決定装置３４および信号処理装置３５を有する構成で、第1実施形態と同様の雑音低減処理を実行する。
【００３７】
音声強調処理決定装置３７は、録音環境別に予め用意されている複数種の音声強調処理方法Ｂ−２、Ｂ−２、Ｂ−３‥‥のうち、ボイスメールを聴取する時の聴取環境（雑音の程度や種類）に該当する音声強調処理方法を選択する。
信号処理装置３８は、複数種の音声強調処理方法Ｂ−２、Ｂ−２、Ｂ−３‥‥のうち、音声強調処理決定装置３７によって選択された音声強調処理方法に応じてボイスメールの音声部分を強調加工する処理を行うもので、この音声強調処理が施されたボイスメールは、要求元の受信側携帯端末５へ配信される。
【００３８】
ここで、複数種の音声強調処理方法Ｂ−１、Ｂ−２、Ｂ−３、‥‥は、聴取環境別に予め用意され、メール内の音声部分の音質、音量等を聴衆時の環境（雑音の程度や種類）に応じて強調加工する処理を行うもので、以下のようにして実装されたものである。すなわち、先ず、雑音の程度や種類を聴取場所および聴取時間帯のカテゴリー別に分類した後において、カテゴリー別の雑音を実際の場所および時間帯でサンプル採取する。そして、このサンプル雑音の周波数特性（雑音成分の帯域および雑音の強さ等）と時間特性（雑音の周期性、雑音が発生してからそれが半減するまでの時間等）を雑音カテゴリ毎に解析し、このカテゴリ別の解析結果に基づいて音声強調アルゴリズムおよび音声強調用のフィルタ等を作成する。これによって雑音カテゴリ毎に作成された音声強調アルゴリズムおよび音声強調用のフィルタ等は、複数種の音声強調処理方法Ｂ−１、Ｂ−２、Ｂ−３、‥‥として実装される。
【００３９】
受信側携帯端末５は、自己宛てのボイスメールを受信する際に、メール受信サーバ３に対して受信要求を行うが、その際、ボイスメールを聴取する時の環境を示す環境情報（録音場所および録音時刻）をその受信要求に付加してメール受信サーバ３へ送信するようにしている。この場合、受信側携帯端末５には、上述した選択候補テーブル１９が設けられている。この選択候補テーブル１９の内容は、ボイスメールの受信要求時に一覧表示され、この一覧画面の中からメール聴取時の場所を任意に選択指定すると、この選択候補テーブル１９から選択された聴取場所は、現在時刻（聴取時刻）と共に聴取環境を示す環境情報としてメール受信サーバ３へ送信される。
【００４０】
図８は、受信側携帯端末５におけるボイスメール受信時の動作を示したフローチャートである。
先ず、受信側携帯端末５において、そのＣＰＵ１１は、ボイスメールの受信要求が指示されると（ステップＤ１）、選択候補テーブル１９をアクセスして、聴取場所の種類を選択候補として一覧表示させる（ステップＤ２）。ここで、メール作成者は、この一覧画面の中からメール聴取時の場所を選択指定する（ステップＤ３）。例えば、聴取場所が個室（自分の部屋、ホテルの部屋など）であれば、１番目の項目を選択し、聴取場所が娯楽施設（映画館、音楽ホールなど）であれば、４番目の項目を選択する。このようにして聴取場所の選択が行われると、ＣＰＵ１１は、現在時刻（聴取時刻）を取得し（ステップＤ４）、聴取場所と現在時刻（聴取時刻）とを聴取時の環境を示す環境情報としてメール受信要求に付加し（ステップＤ５）、メール受信サーバ３へメール受信要求を送信する（ステップＤ６）。
【００４１】
図９は、メール受信サーバ３におけるメール配信処理を示したフローチャートである。
ここで、メール受信サーバ３は、送信側携帯端末１からメール送信サーバ２を介して送信されて来たボイスメールを受信すると、その受信メールを宛先対応のメールボックス３１に格納する。一方、受信側携帯端末５からメール受信要求を受けた場合には（ステップＥ１）、この受信要求に付加されている聴取時の環境情報を取得した後（ステップＥ２）、その要求元を宛先とするメールボックス３１からボイスメールを読み出す（ステップＥ３）。
【００４２】
そして、このボイスメールに付加されている録音時の環境情報に基づいて録音除去が必要か否かの判別を行い（ステップＥ４およびＥ５）、環境情報内に含まれている録音場所が極めて静寂な場所（例えば、個室など）であれば、録音除去処理は不必要であると判別するが（ステップＥ５でＮＯ）、録音場所が雑音の影響を受け易い他の場所であれば、雑音除去処理装置３６は、ボイスメールに付加されている環境情報を参照し、録音環境別に予め用意されている複数種の雑音低減処理方法Ａ−１、Ａ−２、Ａ−３、‥‥のうち、メール作成時の環境に最適な雑音低減処理方法を選択すると共に（ステップＥ６）、この雑音低減処理方法に応じてボイスメールから雑音を除去する処理を行う（ステップＥ７）。
【００４３】
このよにして雑音除去処理を施した後に、受信側携帯端末５からのメール受信要求に付加されている聴取時の環境情報に基づいて音声強調が必要か否かの判別を行い（ステップＥ８およびＥ９）、環境情報内に含まれている聴取場所が極めて静寂な場所（例えば、個室など）であれば（ステップＥ９でＮＯ）、音声強調処理は不必要であると判別するが、聴取場所が雑音の影響を受け易い他の場所であれば、音声強調処理決定装置３７は、聴取時の環境情報を参照し、聴取環境別に予め用意されている複数種の音声強調処理方法Ｂ−１、Ｂ−２、Ｂ−３、‥‥のうち、メール聴取時の環境に最適な音声強調処理方法を選択する（ステップＥ１０）。すなわち、メール聴取時の聴取場所にマッチした音声強調処理方法を選択した後に、その聴取時刻がどの聴取時間帯に属するかを調べ、この聴取時間帯にマッチした音声強調処理方法を選択する。その後、信号処理装置３８は、音声強調処理決定装置３７によって選択された音声強調処理方法に応じてボイスメール内の音声部分を強調加工する処理を行う（ステップＥ１１）。このよにして強調加工処理が施された後のボイスメールは、要求元の受信側携帯端末５へ配信される（ステップＥ１２）。
【００４４】
以上のように、この第２実施形態においてメール受信サーバ３は、ボイスメールを聴取する時の聴取環境を示す環境情報が受信側携帯端末５から送信されて来た場合に、この環境情報に基づいて最適な音声強調処理を決定し、この音声強調処理に基づいてボイスメールの音声部分を強調加工するようにしたから、周囲が騒がしくても、その聴取環境に応じて異なる雑音の程度や種類にマッチした音声強調処理によって音声部分を効果的に強調加工することができる。この場合、聴取場所によって雑音の程度や種類が大きく異なるが、聴取場所の種類を環境情報としている為、どのような場所で聴衆するかに応じてその場所特有の雑音を考慮した音声強調が可能となる。したがって、ボイスメールの再生時には、周囲の雑音による悪影響を受けずに、音声メッセージの内容を正確に聞くことが可能となり、従来のように音量調整を行いながら何回も聞き直したり、聞き間違えのおそれもない。
【００４５】
一方、ボイスメールを受信する受信側携帯端末５は、ボイスメールの聴取場所をメール受信サーバ３へ送信する際に、選択候補テーブル１９の中から任意に選択した場所を聴取環境とするようにしたから、環境情報を容易に入力することができる。
また、環境情報には、ボイスメールを聴取する聴取時刻も含まれている為、メール受信サーバ３は、どの時間帯で聴取するのかに応じてその時間帯特有の雑音を考慮した音声強調が可能となる。また、メール受信サーバ３は、聴取環境別に予め用意されている複数種の音声強調処理方法のうち、メール聴取時の環境に該当する最適な音声強調処理方法を決定するようにしたから、雑音解析等の面倒な処理を行うことなく、その環境に適した音声強調処理方法を効率良く行うことが可能となる。
【００４６】
更に、メール受信サーバ３は、送信側携帯端末１からメール送信サーバ２を介して送信されて来たボイスメールにその録音時の環境を示す環境情報が付加されている場合、この環境情報に基づいて最適な雑音低減処理方法を決定し、この雑音低減処理方法に基づいて音声メールから雑音部分を除去した後に、音声強調処理を実行するようにしたから、メール受信者にあっては、より一層、音声メッセージの内容を聞き取ることが可能となる。
【００４７】
なお、上述した第２実施形態においては、選択候補テーブル１９の中からメール作成者が任意に選択した場所を聴取場所としたが、聴取場所を自動的に得るようにしてもよい。すなわち、受信側携帯端末５側に地上系／衛星系移動体通信サービスを利用して現在位置に該当する場所情報を取得する機能を設け、この場所取得機能によって得られた場所を聴取場所としてメール受信サーバ３へ送信するようにしてもよい。
【００４８】
また、上述した第２実施形態においては、メール受信サーバ３が音声強調処理を実行するようにしたが、受信側携帯端末５側で音声強調処理の一部あるいは全部を行うようにしてもよい。
また、上述した第２実施形態においては、メール受信サーバ３が雑音除去処理を実行するようにしたが、メール送信サーバ２側において雑音除去処理を行うようにしてもよく、更には、受信側携帯端末５側で雑音除去処理の一部あるいは全部を行うようにしてもよい。
【００４９】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、フロッピィデスク、ＲＡＭカード等）を提供するようにしてもよい。
すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、音声録音によって作成された音声メールを聴取する時の聴取環境を示す環境情報が送信されて来た場合に、この環境情報に基づいて最適な音声強調処理を決定する機能と、決定された最適な音声強調処理に基づいて音声メールの音声部分を強調加工することによって当該メール内容を編集する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【００５０】
【発明の効果】
請求項１記載の発明によれば、音声録音によって作成された音声メールに、音声メールを作成して送信する送信側のメール端末によって、音声メールを録音した録音場所の種類を示す場所種別が環境情報として付加されている場合、この環境情報に基づいて最適な雑音除去処理を決定し、この雑音除去処理に基づいて音声メールから雑音部分を除去するようにしたから、音声メッセージと共に雑音が録音されていても、その録音環境に応じて異なる雑音の程度や種類にマッチした雑音除去処理によってメール内の雑音を効果的に低減・除去することができる。したがって、メール再生時には、雑音による悪影響を受けずに、音声メッセージの内容を正確に聞くことが可能となる為、従来のように音量調整を行いながら何回も聞き直したり、聞き間違えのおそれもない。
請求項４記載の発明によれば、音声録音によって作成された音声メールに、音声メールを作成して送信する送信側のメール端末によって、音声メールを録音した録音時間帯が環境情報として付加されている場合、この環境情報に基づいて最適な雑音除去処理を決定し、この雑音除去処理に基づいて音声メールから雑音部分を除去するようにしたから、音声メッセージと共に雑音が録音されていても、その録音環境に応じて異なる雑音の程度や種類にマッチした雑音除去処理によってメール内の雑音を効果的に低減・除去することができる。したがって、メール再生時には、雑音による悪影響を受けずに、音声メッセージの内容を正確に聞くことが可能となる為、従来のように音量調整を行いながら何回も聞き直したり、聞き間違えのおそれもない。
請求項５記載の発明によれば、音声メールを受信して聴取する受信側のメール端末から、音声録音によって作成された音声メールを聴取する時の聴取場所の種類を示す場所種別が環境情報として送信されて来た場合に、この環境情報に基づいて最適な音声強調処理を決定し、この音声強調処理に基づいて音声メールの音声部分を強調加工するようにしたから、周囲が騒がしくても、その聴取環境に応じて異なる雑音の程度や種類にマッチした音声強調処理によって音声部分を効果的に強調加工することができる。したがって、メール再生時には、周囲の雑音による悪影響を受けずに、音声メッセージの内容を正確に聞くことが可能となり、従来のように音量調整を行いながら何回も聞き直したり、聞き間違えのおそれもない。
請求項７記載の発明によれば、音声メールを受信して聴取する受信側のメール端末から、音声録音によって作成された音声メールを聴取する聴取時間帯が環境情報として送信されて来た場合に、この環境情報に基づいて最適な音声強調処理を決定し、この音声強調処理に基づいて音声メールの音声部分を強調加工するようにしたから、周囲が騒がしくても、その聴取環境に応じて異なる雑音の程度や種類にマッチした音声強調処理によって音声部分を効果的に強調加工することができる。したがって、メール再生時には、周囲の雑音による悪影響を受けずに、音声メッセージの内容を正確に聞くことが可能となり、従来のように音量調整を行いながら何回も聞き直したり、聞き間違えのおそれもない。
【図面の簡単な説明】
【図１】ボイスメールシステムの全体構成を示したブロック図。
【図２】ボイスメール機能付きの携帯端末１、５の基本的構成要素を示したブロック図。
【図３】送信側携帯端末１側に設けられている選択候補テーブル１９の内容を示した図。
【図４】送信側携帯端末１側におけるボイスメール作成時の動作を示したフローチャート。
【図５】メール受信サーバ３側におけるメール配信処理を示したフローチャート。
【図６】第１実施形態に変形応用例を説明する為の図で、録音場所を自動取得する場合の動作を示したフローチャート。
【図７】第２実施形態におけるボイスメールシステムの全体構成を示したブロック図。
【図８】第２実施形態において、受信側携帯端末５におけるボイスメール受信時の動作を示したフローチャート。
【図９】第２実施形態において、メール受信サーバ３におけるメール配信処理を示したフローチャート。
【符号の説明】
１送信側携帯端末
２メール送信サーバ
３メール受信サーバ
４ネットワーク
５受信側携帯端末
１１、３２ＣＰＵ
１２主記憶装置
１３補助記憶装置
１４、３３データ通信装置
１５入力装置
１６表示装置
１７音声入力装置
１８音声出力装置
１９選択候補テーブル
３１メールボックス
３４雑音低減処理決定装置
３５、３８信号処理装置
３７音声強調処理決定装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an e-mail system and program for transmitting and receiving e-mail created by voice recording.
[0002]
[Prior art]
Conventionally, when an e-mail is sent using a personal computer (PC), a personal digital assistant (PDA), a mobile phone, etc. on which mailer software etc. is installed, the provider side to which the sender subscribes The mail server of this provider determines the provider's mail server to which the other party (destination) is subscribed as the connection destination, and distributes the received mail to the connection destination mail server. A mail mail system is also known in which mail is not limited to text data, and mail (voice mail) created by voice recording is transmitted and received (see Patent Document 1).
[0003]
[Patent Document 1]
JP 2001-223803 A
[0004]
[Problems to be solved by the invention]
By the way, when creating a voice mail, it is not always possible to record in a quiet environment, and if the surroundings are noisy, unnecessary sounds (noise) other than voice messages are also recorded. When such a voice mail is played back, it becomes difficult to hear the message content due to noise, and it may be necessary to re-listen and adjust the volume many times. Increases the nature.
On the other hand, even if there is no noise in the received voice mail, it is not always possible to listen to it in a quiet environment, and if it is noisy, it will be difficult to hear it, and it will be heard repeatedly. Or the volume must be adjusted, and the risk of misunderstanding increases.
[0005]
An object of the first invention is to make it possible to remove a noise portion from a mail based on the environment when the voice mail is recorded.
An object of the second invention is to make it possible to emphasize a voice part in the mail based on the environment when listening to the voice mail.
[0006]
[Means for Solving the Problems]
According to the first aspect of the present invention, in an electronic mail system that transmits and receives an electronic mail created by voice recording, the voice mail created by voice recording is used. Depending on the sender's mail terminal that creates and sends voice mail, the location type indicating the type of recording location where the voice mail was recorded is the environmental information. A determination unit that determines an optimum noise removal process based on the environment information, and a noise part is removed from the voice mail based on the optimum noise removal process determined by the determination unit. Mail editing means for editing the mail content.
Computer The The main features of the invention described in claim 1 described above Function as a means To provide a program for the 8 Described invention).
[0007]
The invention according to claim 4 is an electronic mail system that transmits and receives an electronic mail created by voice recording. Environment information is the location type that indicates the type of listening location when listening to voice mail created by voice recording from the receiving mail terminal that receives and listens to voice mail. When it is transmitted, a determination unit that determines an optimum voice enhancement process based on the environment information, and a voice part of the voice mail is enhanced based on the optimum voice enhancement process determined by the determination unit And a mail editing means for editing the mail contents.
Computer The The above-mentioned claims 4 Main shown in the described invention Function as a means To provide a program for the 9 Described invention).
[0010]
The sending mail terminal that creates and sends the voice mail adds the recording time zone in which the voice mail is recorded to the voice mail as environment information (the invention according to claim 5).
Therefore, according to the fifth aspect of the invention, in addition to having the same effect as the first aspect of the invention, the recording time zone in which the voice mail is recorded is used as the environment information. Even when the degree or type of noise is greatly different, it is possible to effectively remove a noise portion peculiar to the time zone depending on which time zone was recorded.
[0012]
Claim 5 The described invention is an electronic mail system that transmits and receives an electronic mail created by voice recording. Environment information is the location type that indicates the type of listening location when listening to voice mail created by voice recording from the receiving mail terminal that receives and listens to voice mail. When it is transmitted, a determination unit that determines an optimum voice enhancement process based on the environment information, and a voice part of the voice mail is enhanced based on the optimum voice enhancement process determined by the determination unit And a mail editing means for editing the mail contents.
Computer The The above-mentioned claims 5 Main shown in the described invention Function as a means To provide a program for the 10 Described invention).
[0013]
Claim 7 The described invention is an electronic mail system that transmits and receives an electronic mail created by voice recording. Environment information is the listening time zone for listening to voice mail created by voice recording from the receiving mail terminal that receives and listens to voice mail. When it is transmitted, a determination unit that determines an optimum voice enhancement process based on the environment information, and a voice part of the voice mail is enhanced based on the optimum voice enhancement process determined by the determination unit And a mail editing means for editing the mail contents.
Computer The The above-mentioned claims 7 Main shown in the described invention Function as a means To provide a program for the 11 Described invention).
[0018]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
A first embodiment of the present invention will be described below with reference to FIGS.
FIG. 1 is a block diagram showing the overall configuration of the voice mail system in this embodiment.
In this voice mail system, the transmitting-side mobile terminal 1 that creates and transmits an e-mail (voice mail) transmits environment information (recording location and recording time) indicating the recording environment to the voice mail created by voice recording. Add mail to send mail. The voice mail transmitted from the transmission-side portable terminal 1 is sent to the provider-side mail transmission server 2 to which the transmission source is subscribed. The mail transmission server 2 determines the mail reception server 3 on the provider side to which the other party (destination) of the mail is subscribed as a connection destination, and distributes the voice mail to the mail reception server 3 via the network 4.
[0019]
The mail receiving server 3 has a message storage device (mail box corresponding to the destination) 31 that receives and stores the voice mail from the mail transmitting server 2, and if environmental information is added to the voice mail, Environmental information is also stored in the mail box 31. Here, when the mail reception server 3 receives a mail reception request (mail distribution request) from the receiving-side mobile terminal 5 that receives the voice mail, the mail reception server 3 performs a process of searching for and distributing the mail whose destination is the request source. However, if environmental information at the time of recording is added to the voice mail at that time, the optimum noise reduction processing is determined based on this environmental information, and after removing (reducing) the noise part from the voice mail, The voice mail is distributed to the receiving mobile terminal 5 that is the request source.
[0020]
The mail receiving server 3 includes a mail box 31, a central processing unit (CPU) 32 that controls the overall operation, a data communication device 33, a noise reduction processing determination device 34, a signal processing device 35, and the like peculiar to this embodiment. It is the composition which has.
The noise reduction processing determination device 34 is a noise corresponding to the recording environment at the time of mail creation among a plurality of types of noise reduction processing methods A-1, A-2, A-3,. The reduction processing method is selected. That is, since the degree and type of noise differ depending on the recording environment at the time of creating the mail, the noise reduction processing determining device 34 selects a reduction processing method corresponding to the recording environment. The signal processing device 35 uses voice mail according to the noise reduction processing method selected by the noise reduction processing determination device 34 among the plurality of types of noise reduction processing methods A-1, A-2, A-3,. A process for removing noise is performed, and the voice mail that has been subjected to the noise removal process is delivered to the requesting receiving-side mobile terminal 5.
[0021]
Here, a plurality of types of noise reduction processing methods A-1, A-2, A-3,... Are prepared in advance for each recording environment, and the noise in the mail is changed to the recording environment (degree and type of noise). In accordance with this, processing for reduction and removal is performed, and it is implemented as follows. That is, first, after classifying the degree and type of noise into categories of recording location and recording time zone, the noise for each category is sampled at the actual location and time zone. The frequency characteristics of the sample noise (noise component bandwidth and noise intensity, etc.) and time characteristics (noise periodicity, time from when the noise occurs until it is halved, etc.) are analyzed for each noise category. Then, a noise reduction algorithm, a noise elimination filter, and the like are created based on the analysis result for each category. As a result, the noise reduction algorithm and noise elimination filter created for each noise category are implemented as a plurality of types of noise reduction processing methods A-1, A-2, A-3,.
[0022]
FIG. 2 is a block diagram showing basic components of the mobile terminals 1 and 5 with a voice mail function.
The transmitting-side portable terminal 1 and the receiving-side portable terminal 5 are personal computers (PCs), personal personal digital assistants (PDAs), cellular phones, and the like that are equipped with voice mailer software and the like. It has a configuration. The transmission side portable terminal 1 and the reception side portable terminal 5 are a central processing unit (CPU) 11, a main storage device 12 such as RAM and ROM, an auxiliary storage device 13 such as a flash ROM, a data communication device 14, a touch panel, a keyboard, and the like. Input device 15, display device 16 such as a liquid crystal panel, audio input device 17 such as a microphone and an A / D converter, audio output device 18 such as a D / A converter and a speaker, and the like. The input device 15, the display device 16, the audio input device 17, and the audio output device 18 that are output peripheral devices are controlled according to an input / output program.
[0023]
FIG. 3 is a diagram showing the contents of the selection candidate table 19 provided on the transmission-side portable terminal 1 side.
The selection candidate table 19 is a table for storing a selection candidate group for selecting a recording environment (type of recording place). For example, “amusement facilities with particularly large mechanical sounds and generally noisy”, “human voice” , But a relatively quiet workplace (office), “an extremely quiet room with almost no noise”, “in a vehicle with a particularly loud mechanical noise and overall noisy”, etc. It is classified according to the type. In this example, private rooms (your room, hotel room, etc.), common rooms for several people (living room, hospital room, etc.), workplace (company office, etc.), entertainment facilities (movie theater, music hall, etc.) It is classified into the category. The contents of the selection candidate table 19 are displayed as a list after the voice mail is created, and the location at the time of mail recording is arbitrarily selected and designated from the list screen. The recording location selected from the selection candidate table 19 is added to the voice mail as environment information indicating the recording environment together with the current time (recording time).
[0024]
Next, the operation concept of the voice mail system in the first embodiment will be described with reference to the flowcharts shown in FIGS. Here, each function described in these flowcharts is stored in the form of a readable program code, and operations according to the program code are sequentially executed. It is also possible to sequentially execute operations according to the program code transmitted via the transmission medium. The same applies to other embodiments to be described later. In addition to a recording medium, an operation peculiar to this embodiment can be executed using a program / data supplied externally via a transmission medium.
[0025]
FIG. 4 is a flowchart showing an operation at the time of creating a voice mail on the transmission side portable terminal 1 side.
First, in the mobile terminal 1 on the transmitting side, when the creation of a voice mail is instructed, the CPU 11 enters a recordable state and acquires and records the input voice message as a mail text (step A1). Here, until the end of recording is instructed (step A2), the voice message is continuously recorded (step A1). When the end of recording is instructed, the selection candidate table 19 is accessed and the recording location is recorded. Are listed as selection candidates (step A3).
[0026]
Here, the mail creator selects and designates a place for recording the mail from the list screen (step A4). For example, if the recording location is a private room (your room, hotel room, etc.), select the first item. If the recording location is an entertainment facility (movie theater, music hall, etc.), select the fourth item. select. After the recording location is selected in this way, the CPU 11 acquires the current time (recording time) (step A5). When mail transmission is instructed (step A6), the CPU 11 adds the recording location and the current time (recording time) to the voice mail as environment information indicating the environment at the time of recording (step A7). Transmission processing is performed (step A8). If mail transmission is not instructed (NO in step A6), the created voice mail is saved together with the environment information (step A9).
[0027]
FIG. 5 is a flowchart showing mail delivery processing on the mail receiving server 3 side.
Here, when the mail receiving server 3 receives the voice mail transmitted from the transmitting portable terminal 1 via the mail transmitting server 2 (step B1), the mail receiving server 3 stores the received mail in the mail box 31 corresponding to the destination. (Step B2).
On the other hand, when a mail reception request (mail delivery request) is received from the receiving side portable terminal 5 (step B3), the voice mail is read from the mail box 31 whose destination is the request source (step B4), and this voice It is determined whether or not the recording removal is necessary based on the environmental information added to the mail (steps B5 and B6).
[0028]
That is, if the recording location included in the environmental information is a very quiet location (for example, a private room), it is determined that the recording removal process is unnecessary (NO in step B6), but the recording location is noisy. The noise reduction processing determination device 34 refers to the environment information added to the voice mail and refers to a plurality of types prepared in advance for each recording environment. Among the noise reduction processing methods A-1, A-2, A-3,..., A noise reduction processing method optimal for the recording environment at the time of mail creation is selected (step B7). That is, after selecting a noise reduction processing method that matches the recording location at the time of mail creation, the recording time zone to which the recording time belongs is examined, and the noise reduction processing method that matches the recording time zone is selected. Thereafter, the signal processing device 35 performs processing for removing noise from the voice mail according to the noise reduction processing method selected by the noise reduction processing determination device 34 (step B8). The voice mail that has been subjected to the noise removal processing in this way is delivered to the requesting receiving-side mobile terminal 5 (step B9).
[0029]
As described above, in the first embodiment, the mail receiving server 3 adds the environment information indicating the recording environment to the voice mail transmitted from the transmitting portable terminal 1 via the mail transmitting server 2. In this case, the optimum noise reduction processing method is determined based on this environmental information, and the noise portion is removed from the voice mail based on this noise reduction processing method. However, the noise in the mail can be effectively reduced / removed by the noise reduction processing that matches the level and type of noise that differs depending on the recording environment. In this case, the level and type of noise varies greatly depending on the recording location, but since the type of recording location is used as environmental information, the noise part peculiar to that location is effectively removed depending on where it was recorded. It becomes possible. Therefore, during voice mail playback, it is possible to listen to the contents of the voice message accurately without being adversely affected by noise. Nor.
[0030]
On the other hand, the transmitting-side portable terminal 1 that creates and sends a voice mail records a place arbitrarily selected from the selection candidate table 19 when adding the recording place where the voice mail is recorded as environment information to the voice mail. Since the environment is set, environment information can be easily input.
Further, since the environment information includes the recording time when the voice mail was recorded, the mail receiving server 3 effectively removes a noise part peculiar to the time period depending on which time period the recording was performed. It becomes possible. Further, the mail receiving server 3 determines an optimum noise reduction processing method corresponding to the environment at the time of mail recording from among a plurality of types of noise reduction processing methods prepared in advance for each recording environment. Thus, it is possible to efficiently perform noise reduction processing suitable for the environment without performing troublesome processing such as the above.
[0031]
In the first embodiment described above, the location arbitrarily selected by the mail creator from the selection candidate table 19 is set as the recording location, but the recording location may be automatically obtained. That is, a function for acquiring location information corresponding to the current location using the terrestrial / satellite mobile communication service is provided on the transmitting-side mobile terminal 1 side, and the location obtained by this location acquisition function is used as a recording location. You may make it add to mail.
FIG. 6 is a flowchart showing the operation on the transmission side portable terminal 1 side in this case. First, a voice message is recorded (step C1), a location corresponding to the current location is acquired as a recording location using the terrestrial / satellite mobile communication service (step C3), and the current time (recording time) ), The recording location and the current time (recording time) are generated as environment information indicating the recording environment (step). Here, the presence / absence of a mail transmission instruction is checked (step C4). If there is no mail transmission instruction, the process returns to the step. If the mail transmission instruction is present, the environment information is added to the voice mail (step C5). A mail transmission process is performed (step C6).
[0032]
In the first embodiment described above, the mail receiving server 3 performs the noise reduction process. However, the noise reducing process may be performed on the mail transmission server 2 side. That is, the noise reduction process may be performed not only on the mail receiving server 3 but also on the mail transmitting server 2 side. Furthermore, part or all of the noise reduction processing may be performed on the reception-side mobile terminal 5 side.
[0033]
On the other hand, a recording medium (for example, a CD-ROM, a floppy disk, a RAM card, etc.) on which a program code for executing each of the above-described units is recorded may be provided to the computer.
In other words, when a recording medium having a computer-readable program code and environmental information indicating an environment at the time of recording is added to a voice mail created by voice recording, the optimum is based on the environmental information. A computer that records a program that implements a function to determine the noise removal processing and a function to edit the content of the email by removing the noise from the voice mail based on the determined optimum noise removal processing. A possible recording medium may be provided.
[0034]
(Second Embodiment)
A second embodiment of the present invention will be described below with reference to FIGS. In the first embodiment described above, the mail receiving server 3 has environment information indicating the recording environment added to the voice mail transmitted from the transmitting portable terminal 1 via the mail transmitting server 2. In this case, the optimum noise reduction processing method is determined based on the environment information, and the noise part is removed from the voice mail based on the noise reduction processing method. In the second embodiment, the mail receiving server is used. In addition to performing noise reduction processing on the 3 side, when the environment information indicating the listening environment when listening to the voice mail is transmitted from the receiving side portable terminal 5, the optimum voice is based on this environment information. The emphasis process is determined, and the voice part of the voice mail is emphasized based on the voice emphasis process.
Here, components that are basically the same in both embodiments are denoted by the same reference numerals, description thereof will be omitted, and the following description will focus on the features of the second embodiment.
[0035]
FIG. 7 is a block diagram showing the overall configuration of the voice mail system in the second embodiment.
In this voice mail system, as in the first embodiment described above, the transmitting-side mobile terminal 1 sends a mail by adding environment information indicating the environment at the time of recording to a voice mail created by voice recording. The server 2 determines the mail receiving server 3 on the provider side to which this voice mail partner (destination) is subscribed as a connection destination, and distributes the voice mail to the mail receiving server 3 via the network 4.
[0036]
Similarly to the above-described embodiment, the mail receiving server 3 performs the noise removal processing and then distributes the voice mail subjected to the noise removal processing to the requesting receiving mobile terminal 5. 5, when environment information indicating the listening environment when listening to the voice mail is transmitted, an optimum voice enhancement process is determined based on the environment information, and the voice of the voice mail is determined based on the voice enhancement process. A process for emphasizing the portion is performed. That is, the mail receiving server 3 includes a mail box 31, a CPU 32, a data communication device 33, a noise removal processing device 36, a voice enhancement processing determination device 37 and a signal processing device 38 unique to the second embodiment. It has become. Note that the noise removal processing device 36 includes the noise reduction processing determination device 34 and the signal processing device 35 described above, and executes the same noise reduction processing as in the first embodiment.
[0037]
The voice enhancement processing determination device 37 is a listening environment (noise) when listening to voice mail among a plurality of types of voice enhancement processing methods B-2, B-2, B-3,. Voice enhancement processing method corresponding to the degree and type).
The signal processing device 38 selects the voice mail voice according to the voice enhancement processing method selected by the voice enhancement processing determination device 37 among the plurality of types of voice enhancement processing methods B-2, B-2, B-3. A process for emphasizing the part is performed, and the voice mail subjected to the voice emphasis process is delivered to the request-receiving receiving mobile terminal 5.
[0038]
Here, a plurality of types of voice enhancement processing methods B-1, B-2, B-3,... Are prepared in advance for each listening environment, and the sound quality, volume, etc. of the voice part in the mail are set according to the environment (noise) of the audience. The processing is emphasized according to the degree and type), and is implemented as follows. That is, first, after classifying the degree and type of noise according to the category of the listening location and the listening time zone, the noise for each category is sampled at the actual location and time zone. The frequency characteristics of the sample noise (noise component bandwidth and noise intensity, etc.) and time characteristics (noise periodicity, time from when the noise occurs until it is halved, etc.) are analyzed for each noise category. Then, a speech enhancement algorithm, a speech enhancement filter, and the like are created based on the analysis result for each category. Thus, the speech enhancement algorithm and speech enhancement filter created for each noise category are implemented as a plurality of types of speech enhancement processing methods B-1, B-2, B-3,.
[0039]
When receiving the voice mail addressed to itself, the receiving-side mobile terminal 5 makes a reception request to the mail receiving server 3. At this time, environment information (recording location and location) indicating the environment when listening to the voice mail is sent. (Recording time) is added to the reception request and transmitted to the mail receiving server 3. In this case, the reception-side portable terminal 5 is provided with the selection candidate table 19 described above. The contents of the selection candidate table 19 are displayed in a list when a voice mail reception request is made. If a place for listening to mail is arbitrarily selected and specified from the list screen, the listening place selected from the selection candidate table 19 is Along with the current time (listening time), it is transmitted to the mail receiving server 3 as environment information indicating the listening environment.
[0040]
FIG. 8 is a flowchart showing an operation at the time of receiving voice mail in the receiving side portable terminal 5.
First, in the mobile terminal 5 on the receiving side, when a voice mail reception request is instructed (step D1), the CPU 11 accesses the selection candidate table 19 to display a list of types of listening locations as selection candidates (step S1). D2). Here, the mail creator selects and designates a location for listening to the mail from the list screen (step D3). For example, if the listening location is a private room (your room, hotel room, etc.), select the first item. If the listening location is an entertainment facility (movie theater, music hall, etc.), select the fourth item. select. When the listening location is selected in this way, the CPU 11 acquires the current time (listening time) (step D4), and the listening location and the current time (listening time) are used as environment information indicating the listening environment. It is added to the mail reception request (step D5), and the mail reception request is transmitted to the mail reception server 3 (step D6).
[0041]
FIG. 9 is a flowchart showing mail delivery processing in the mail receiving server 3.
Here, when the mail receiving server 3 receives the voice mail transmitted from the transmitting side portable terminal 1 via the mail transmitting server 2, the mail receiving server 3 stores the received mail in the mail box 31 corresponding to the destination. On the other hand, when a mail reception request is received from the receiving side portable terminal 5 (step E1), after obtaining the listening environment information added to the reception request (step E2), the request source is set as the destination. Voice mail is read from the mail box 31 to be executed (step E3).
[0042]
Then, it is determined whether or not the recording removal is necessary based on the environmental information at the time of recording added to the voice mail (Steps E4 and E5), and the recording location included in the environmental information is extremely quiet. If it is a place (for example, a private room), it is determined that the recording removal process is unnecessary (NO in step E5), but if the recording place is another place that is easily affected by noise, the noise removal processing device 36 refers to the environment information added to the voice mail, and creates a mail among a plurality of types of noise reduction processing methods A-1, A-2, A-3,. A noise reduction processing method optimum for the time environment is selected (step E6), and a process for removing noise from voice mail is performed according to the noise reduction processing method (step E7).
[0043]
After performing the noise removal processing in this way, it is determined whether or not speech enhancement is necessary based on the environmental information at the time of listening added to the mail reception request from the receiving-side mobile terminal 5 (steps E8 and E8). E9) If the listening place included in the environmental information is a very quiet place (eg, a private room) (NO in step E9), it is determined that the voice enhancement processing is unnecessary, but the listening place is In other places that are easily affected by noise, the speech enhancement processing determination device 37 refers to environment information at the time of listening, and a plurality of types of speech enhancement processing methods B-1 and B prepared in advance for each listening environment. -2, B-3,..., The speech enhancement processing method most suitable for the environment during listening to the mail is selected (step E10). That is, after selecting a speech enhancement processing method that matches the listening location at the time of listening to the mail, it is examined which listening time zone the listening time belongs to, and a speech enhancement processing method that matches the listening time zone is selected. Thereafter, the signal processing device 38 performs processing for emphasizing the voice portion in the voice mail in accordance with the voice enhancement processing method selected by the voice enhancement processing determination device 37 (step E11). The voice mail that has been subjected to the emphasis processing in this way is delivered to the requesting receiving-side mobile terminal 5 (step E12).
[0044]
As described above, in the second embodiment, the mail receiving server 3 is based on the environment information when the environment information indicating the listening environment when listening to the voice mail is transmitted from the receiving-side portable terminal 5. The optimum voice enhancement processing is determined, and the voice part of the voice mail is enhanced based on this voice enhancement processing, so even if the surroundings are noisy, the level and type of noise varies depending on the listening environment. The voice part can be effectively enhanced by the matched voice enhancement process. In this case, the degree and type of noise varies greatly depending on the listening location, but since the type of listening location is used as environmental information, it is possible to enhance the voice considering the noise specific to the location depending on the audience. It becomes. Therefore, when playing a voice mail, it is possible to listen to the voice message accurately without being adversely affected by ambient noise. There is no fear.
[0045]
On the other hand, the receiving-side mobile terminal 5 that receives the voice mail uses the place arbitrarily selected from the selection candidate table 19 as the listening environment when transmitting the voice mail listening place to the mail receiving server 3. Therefore, environmental information can be easily input.
In addition, since the environment information includes the listening time when the voice mail is listened to, the mail receiving server 3 can perform voice enhancement considering noise specific to the time zone depending on which time zone it is listened to. It becomes. In addition, the mail receiving server 3 determines the optimum speech enhancement processing method corresponding to the environment at the time of listening to the mail from among a plurality of types of speech enhancement processing methods prepared in advance for each listening environment. Thus, it is possible to efficiently perform a speech enhancement processing method suitable for the environment without performing troublesome processing such as the above.
[0046]
Further, when the environment information indicating the environment at the time of recording is added to the voice mail transmitted from the transmission side portable terminal 1 via the mail transmission server 2, the mail reception server 3 is based on the environment information. The optimum noise reduction processing method is determined, and after the noise portion is removed from the voice mail based on the noise reduction processing method, the voice enhancement process is executed. It becomes possible to hear the contents of the voice message.
[0047]
In the second embodiment described above, the place selected arbitrarily by the mail creator from the selection candidate table 19 is set as the listening place, but the listening place may be automatically obtained. That is, a function for acquiring location information corresponding to the current location using the terrestrial / satellite mobile communication service is provided on the receiving-side mobile terminal 5 side, and the location obtained by this location acquisition function is used as a listening location for mailing You may make it transmit to the receiving server 3. FIG.
[0048]
In the second embodiment described above, the mail reception server 3 performs the voice enhancement process. However, the reception-side mobile terminal 5 may perform part or all of the voice enhancement process.
In the second embodiment described above, the mail reception server 3 performs the noise removal process. However, the noise removal process may be performed on the mail transmission server 2 side. Part or all of the noise removal processing may be performed on the terminal 5 side.
[0049]
On the other hand, a recording medium (for example, a CD-ROM, a floppy disk, a RAM card, etc.) on which a program code for executing each of the above-described units is recorded may be provided to the computer.
That is, in the case where a recording medium having a computer-readable program code and environmental information indicating a listening environment when listening to a voice mail created by voice recording is transmitted, based on this environmental information. Records a program that realizes a function for determining the optimum voice enhancement processing and a function for editing the content of the email by emphasizing the voice portion of the voice mail based on the determined optimum voice enhancement processing. A computer-readable recording medium may be provided.
[0050]
【The invention's effect】
According to the first aspect of the present invention, the voice mail created by voice recording is added to the voice mail. Depending on the sender's mail terminal that creates and sends voice mail, the location type indicating the type of recording location where the voice mail was recorded is the environmental information. If it has been added, the optimum noise removal process is determined based on this environmental information, and the noise part is removed from the voice mail based on this noise removal process. However, the noise in the mail can be effectively reduced / removed by the noise removal processing that matches the level and type of noise that differs depending on the recording environment. Therefore, when playing mail, it is possible to listen to the contents of the voice message accurately without being adversely affected by noise, so there is a risk of listening again or again while adjusting the volume as before, or mistakes in listening. Absent.
Claim 4 According to the described invention, voice mail created by voice recording The recording time zone when the voice mail was recorded as environment information by the sending mail terminal that creates and sends the voice mail If it has been added, the optimum noise removal process is determined based on this environmental information, and the noise part is removed from the voice mail based on this noise removal process. However, the noise in the mail can be effectively reduced / removed by the noise removal processing that matches the level and type of noise that differs depending on the recording environment. Therefore, when playing mail, it is possible to listen to the contents of the voice message accurately without being adversely affected by noise, so there is a risk of listening again or again while adjusting the volume as before, or mistakes in listening. Absent.
Claim 5 According to the described invention, Environment information is the location type that indicates the type of listening location when listening to voice mail created by voice recording from the receiving mail terminal that receives and listens to voice mail. When it is sent, the optimum voice enhancement processing is determined based on this environmental information, and the voice portion of the voice mail is enhanced based on this voice enhancement processing, so even if the surroundings are noisy, The speech portion can be effectively enhanced by speech enhancement processing that matches the degree and type of noise that differs depending on the listening environment. Therefore, when playing e-mails, it is possible to listen to the contents of the voice message accurately without being adversely affected by ambient noise, and it is possible to listen again and again while adjusting the volume as before, and there is a risk of mistakes. Absent.
Claim 7 According to the described invention, Environment information is the listening time zone for listening to voice mail created by voice recording from the receiving mail terminal that receives and listens to voice mail. When it is sent, the optimum voice enhancement processing is determined based on this environmental information, and the voice portion of the voice mail is enhanced based on this voice enhancement processing, so even if the surroundings are noisy, The speech portion can be effectively enhanced by speech enhancement processing that matches the degree and type of noise that differs depending on the listening environment. Therefore, when playing e-mails, it is possible to listen to the contents of the voice message accurately without being adversely affected by ambient noise, and it is possible to listen again and again while adjusting the volume as before, and there is a risk of mistakes. Absent.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of a voice mail system.
FIG. 2 is a block diagram showing basic components of mobile terminals 1 and 5 with a voice mail function.
FIG. 3 is a view showing the contents of a selection candidate table 19 provided on the transmission side mobile terminal 1 side;
FIG. 4 is a flowchart showing an operation at the time of creating a voice mail on the transmission side portable terminal 1 side;
FIG. 5 is a flowchart showing mail delivery processing on the mail receiving server 3 side.
FIG. 6 is a flowchart for explaining a modified application example of the first embodiment, and is a flowchart showing an operation when a recording location is automatically acquired;
FIG. 7 is a block diagram showing the overall configuration of a voice mail system in a second embodiment.
FIG. 8 is a flowchart showing an operation at the time of receiving voice mail in the receiving-side mobile terminal 5 in the second embodiment.
FIG. 9 is a flowchart showing mail delivery processing in the mail receiving server 3 in the second embodiment.
[Explanation of symbols]
1 Sender mobile terminal
2 Mail transmission server
3 Mail receiving server
4 network
5 Receiving side portable terminal
11, 32 CPU
12 Main memory
13 Auxiliary storage device
14, 33 Data communication device
15 Input device
16 Display device
17 Voice input device
18 Audio output device
19 Selection candidate table
31 mailbox
34 Noise reduction processing decision device
35, 38 Signal processing device
37 Speech enhancement processing decision device

Claims

In an e-mail system that sends and receives e-mail created by voice recording,
If the location type indicating the type of recording location where the voice mail was recorded is added to the voice mail created by voice recording as environment information by the sender's mail terminal that creates and sends the voice mail. A determination means for determining an optimal noise removal process based on environmental information;
Mail editing means for editing the content of the mail by removing the noise part from the voice mail based on the optimum noise removal processing determined by the determining means;
An e-mail system comprising:

Provide a guidance means for guiding and outputting the location type classified according to the degree of noise and its type as a selection candidate group,
A place type arbitrarily selected and designated from the selection candidate group is added to the voice mail as environment information.
The electronic mail system according to claim 1 , wherein the electronic mail system is configured as described above.

Provide position detection means to detect the current position,
A place type classified according to the degree and type of noise is selected and specified as environment information from the selection candidate group at the current position detected by the position detection means, and added to the voice mail. ,
The electronic mail system according to claim 1 , wherein the electronic mail system is configured as described above.

In an e-mail system that sends and receives e-mail created by voice recording,
Based on this environmental information, if the recording time zone where the voice mail was recorded is added to the voice mail created by voice recording as the environmental information by the sending mail terminal that creates and sends the voice mail. A determination means for determining an optimum noise removal process;
Mail editing means for editing the content of the mail by removing the noise part from the voice mail based on the optimum noise removal processing determined by the determining means;
An e-mail system comprising:

In an e-mail system that sends and receives e-mail created by voice recording,
If the receiving side's mail terminal that receives and listens to voice mail receives the location type indicating the type of listening location when listening to the voice mail created by voice recording as environmental information , this environment A determination means for determining an optimal speech enhancement process based on the information;
Mail editing means for editing the contents of the mail by emphasizing the voice portion of the voice mail based on the optimum voice enhancement processing determined by the determining means;
An e-mail system comprising:

Provide a guidance means for guiding and outputting the location type classified according to the degree of noise and its type as a selection candidate group,
A place type arbitrarily selected and designated from the selection candidate group is transmitted as environment information.
6. The electronic mail system according to claim 5 , wherein the electronic mail system is configured as described above.

In an e-mail system that sends and receives e-mail created by voice recording,
When the listening time zone for listening to voice mail created by voice recording is sent as environmental information from the receiving mail terminal that receives and listens to voice mail, the optimal voice based on this environmental information A determination means for determining the emphasis process;
Mail editing means for editing the contents of the mail by emphasizing the voice portion of the voice mail based on the optimum voice enhancement processing determined by the determining means;
An e-mail system comprising:

The computer,
If the location type indicating the type of recording location where the voice mail was recorded is added to the voice mail created by voice recording as environment information by the sender's mail terminal that creates and sends the voice mail. Means for determining optimum noise removal processing based on environmental information;
Means for editing the content of the mail by removing the noise portion from the voice mail based on the determined optimum noise removal processing;
Program to function as.

The computer,
Based on this environmental information, if the recording time zone where the voice mail was recorded is added to the voice mail created by voice recording as the environmental information by the sending mail terminal that creates and sends the voice mail. Means for determining the optimum denoising process;
Means for editing the content of the mail by removing the noise portion from the voice mail based on the determined optimum noise removal processing;
Program to function as.

The computer,
If the receiving side's mail terminal that receives and listens to voice mail receives the location type indicating the type of listening location when listening to the voice mail created by voice recording as environmental information , this environment Means for determining an optimal speech enhancement process based on information,
Means for editing the mail content by emphasizing the voice portion of the voice mail based on the determined optimum voice enhancement processing;
Program to function as.

The computer,
When the listening time zone for listening to voice mail created by voice recording is sent as environmental information from the receiving mail terminal that receives and listens to voice mail, the optimal voice based on this environmental information Means for determining the emphasis process,
Means for editing the mail content by emphasizing the voice portion of the voice mail based on the determined optimum voice enhancement processing;
Program to function as.