JP2004200985A

JP2004200985A - 通話音声のテキスト変換システム

Info

Publication number: JP2004200985A
Application number: JP2002366514A
Authority: JP
Inventors: Masahiro Goto; 真広後藤
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2002-12-18
Filing date: 2002-12-18
Publication date: 2004-07-15
Anticipated expiration: 2022-12-18
Also published as: JP4232453B2

Abstract

【課題】携帯電話などで通話するときに、音声が聞き取りにくい場合でも意思の疎通を図りやすくする。
【解決手段】携帯電話機１ａ，１ｂによる通話を中継する交換機４にサーバ５を接続し、音声情報を音声認識処理してテキストデータに変換して文字情報としても通話相手や話者に送信する。このとき、テキストデータには、話者付加情報や、通話情報の音量を示す音量付加情報や、感情を推定して付加する感情付加情報が含まれている。携帯電話機１ａ，ａｂは、受信したテキストデータの内容を文字の大きさで音量の違いを示し、文字の色を変えてそのときの感情を表現して表示する。これにより、意思の疎通が図りやすくなる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、電話機で通話をする場合の情報伝達の正確性を高めることができるようにした通話音声のテキスト変換システムに関する。
【０００２】
【発明が解決しようとする課題】
携帯電話機などを使って通話をする場合に、使用環境や場所によっては相手の音声が聞き取りにくい場合があり、通話内容を把握するのに何度も聞き返したりするなど意思の疎通が図りにくくなることがある。通信技術を改善することによりこのような問題が解決できる方向に向かうことは予想できるが、現状ではすぐに解決を図ることができない場合がある。
【０００３】
また、お年寄りや耳の不自由な人などにとっては、単に通信技術だけではなく、音声情報の伝達が正常になされていても意思の疎通がはかりにくくなる場合がある。さらには、話者がうっかりしていて、電話をかけて話し合ったことを忘れてしまったり、どんな印象であったかなどについても正確な記憶がなくなる場合もあり、単純に通信技術だけの問題ではない部分があった。
【０００４】
本発明は上記事情に鑑みてなされたものであり、その目的は、電話で通話するときに、相手の言っていることを把握しやすくすることができると共に、意思の疎通を図りやすくすることができる通話音声のテキスト変換システムを提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明によれば、電話機を使って対話をする場合に、話者が通話音声を入力すると、相手方に通話音声が伝わると共に、テキスト変換手段により、その通話音声が音声認識処理を経てテキストデータに変換され、音量情報付加手段により、通話音声の音量に応じた文字の大きさを指定する情報が付加されるので、その情報を表示することで話者は相手の通話音量に比例した文字の大きさで表現したテキストをみることができる。これにより、聞き取りにくい場合や聞き漏らした場合などにおいても、そのテキスト情報から相手の通話の状況を認識するための情報が増えることになり、意思の疎通が図りやすくなる。
【０００６】
請求項２の発明によれば、上記請求項１の発明において、感情推定手段により、通話音声により分析可能な話者の感情を得て、感情情報付加手段によりテキストデータに感情情報を付加するので、その情報を表示することで話者は相手の通話音声に現れる感情を理解して対応することができ、聞き取りにくい場合や聞き漏らした場合などにおいても、そのテキスト情報から相手の通話の状況を認識するための情報が増えることになり、意思の疎通が図りやすくなる。
【０００７】
請求項３の発明によれば、上記各発明において、話者情報付加手段により、変換されたテキストデータを話者別に対応して表示させる話者表示情報をテキストデータに付加するので、聞き取りにくい場合や聞き漏らした場合などにおいても、そのテキスト情報から相手の通話の状況を認識するための情報が増えることになり、意思の疎通が図りやすくなる。
【０００８】
請求項４の発明によれば、上記各発明において、テキストデータ送信手段により、通話したときのテキストデータを要求に応じて電子メールとして送信することができるので、通話した内容を記録として残すことができ、しかも通話の状況を文字の大きさや感情情報などで補って理解することができるようになる。
【０００９】
【発明の実施の形態】
以下、本発明を携帯電話機を用いたシステムに適用した場合の一実施形態について図面を参照して説明する。
図１はシステムの全体構成を概略的に示すもので、携帯電話機１ａ、１ｂは、基地局２ａ，２ｂなどを経由して電話網３に接続可能で、交換局４を介して携帯電話同士あるいは有線電話との間の通話が行えるように構成されている。
【００１０】
交換局４にはテキストデータ変換装置としてのサーバ５が接続されており、これは、本発明でいうところの音量情報付加手段、感情情報付加手段、話者情報付加手段、テキストデータ送信手段としての機能を兼ね備えたものである。なお、これらの手段の機能は、サーバ５において後述するソフトウェアを実行することにより実現される。
【００１１】
サーバ５は、インターネット６などのネットワークを介して各種プロバイダなどが運営しているメールサーバ７ａ，７ｂなどにアクセス可能である。メールサーバ７ａ，７ｂは、インターネット６を介して携帯電話機１ａ，１ｂなどの使用者が所持するパソコン８ａ，８ｂからアクセス可能となっている。
【００１２】
次に、本実施形態の作用について図２ないし図４も参照して説明する。
図２は音声情報をテキストデータに変換して表示させる場合の基本的な動作について示している。いま、携帯電話機１ａを使用する話者Ａが携帯電話機１ｂを使用する話者Ｂに電話をかける場合を例にとって説明する。
【００１３】
使用者Ａが携帯電話１ａを使って使用者Ｂの携帯電話機１ｂに電話をかけると、基地局１ａ、通信網３、交換局４から基地局１ｂを経由して携帯電話機１ｂと通話ができるようになる。この状態で、まず、話者Ａが音声入力で「こんにちは」と話すと（ステップＡ１）、その音声情報は携帯電話機１ｂに伝わって音声として出力される（ステップＡ２）と共に、交換局４からサーバ５に入力され、サーバ５においてテキストデータに変換されるようになる。
【００１４】
サーバ５においては、まず受け付けた音声入力信号を音声認識処理を行い（ステップＡ３）、これをテキストデータに変換する（ステップＡ４）。このとき、サーバ５は、受け付けた音声入力信号について後述するような入力音声の解析処理を行って音量や感情などに関するデータの付加を行う（図３参照）。そして、この解析処理を経て得られたテキストデータおよび付加情報を聞き手である話者Ｂの携帯電話機１ｂと音声入力した話者Ａの携帯電話機１ａに共に送信する（ステップＡ４）。
【００１５】
これにより、携帯電話機１ａ，１ｂにおいては、それぞれ受信したテキストデータである「こんにちは」の言葉を表示部９ａ，９ｂに表示させるようになる（図２ステップＡ５，Ａ６およびその表示例を参照）。このとき、携帯電話機１ａ側での表示は、自分が話した言葉のテキストデータであるから、自分を示す「自」の文字がテキストデータの先頭に表示され、携帯電話機１ｂ側での表示は、相手が話した言葉のテキストデータであるから、相手を示す「相」の文字がテキストデータの先頭に表示される。
【００１６】
次に、話者Ｂがこれに答えて、例えば「こちらこそ」と携帯電話機１ｂに音声入力をした場合（ステップＡ７）には、その音声情報が上述と同様にして携帯電話機１ｂから携帯電話機１ａに伝わって音声として出力され（ステップＡ８）、サーバ５においてテキストデータに変換されるようになる。
【００１７】
サーバ５においては、音声認識処理、テキストデータ変換処理を行って（ステップＡ９，１０）、得られたテキストデータおよび付加情報を聞き手である話者Ａの携帯電話機１ａと音声入力した話者Ｂの携帯電話機１ｂに共に送信する（ステップＡ１０）。
【００１８】
携帯電話機１ａ，１ｂにおいては、テキストデータである「こちらこそ」の言葉をそれぞれの表示部に表示させるようになる（図２ステップＡ１１，Ａ１２およびその表示例を参照）。また、携帯電話機１ａ，１ｂでのそれぞれの表示は、「相」、「自」の文字がテキストデータの先頭に表示される。
【００１９】
次に、上述したサーバ５がステップＡ４，Ａ１０で実行したテキスト変換処理において、入力音声の解析処理を行って音量や感情などに関するデータの付加を行う処理について図３を参照して説明する。この解析処理では、サーバ５は、入力された音声データについて、まずその音量解析処理を行う（ステップＢ１）。
【００２０】
ここでは、入力された音声の音量レベルを算出し、予め決められたしきい値で判別することで音量を小、中、大の３つのレベルに判別する。判別した結果に応じて、その対応するテキストの文字サイズを小、中、大となるようにテキストデータへの付加情報として設定する（ステップＢ２〜Ｂ５）。
【００２１】
テキストデータにこの付加情報が設定されている場合には、前述した表示部に表示をする場合に、その表示部が文字サイズを設定して表示することができる場合にこれを付加情報に対応した文字サイズで表示させることができる。ここで、文字サイズの「中」は、通常の会話レベルに相当している。
【００２２】
次に、サーバ５は、感情解析処理を行う（ステップＢ６）。これは、入力音声の口調を解析してその話者の感情を推定しようとするものである。具体的には、感情解析処理そのものについては、例えば、喜怒哀楽などの感情を代表する言葉や会話の抑揚のパターン、あるいは音声の波形パターンや平常時に対する声の高低の違いなどを分析することで推定することができる。
【００２３】
ここでは、サーバ５は、推定する感情の分類を「喜」，「怒」，「哀」，「楽」および「普通」の５つとしている（ステップＢ７）。これらに対応して文字の色を「黄色」，「赤色」，「青色」，「緑色」あるいは「黒色」に設定するように情報を付加することになる（ステップＢ８〜Ｂ１２）。
【００２４】
このような分析を行った結果は、テキストデータに付加情報として付加されるが、この付加情報を表示可能な表示部９ａでは、例えば図４に示すように表示動作を行う。また、付加情報の表示ができない表示部では、通常のサイズの文字を使って表示されるようになっている。
【００２５】
同図（ａ）では、相手から困った口調（「哀」に相当）で話しかけられている場合に、こちら（自分）からは怒った口調（「怒」に相当）で答えているところを示している。相手を示す「相：」表示Ｓ１の後に、驚いた状態を「普通」を示す黒色の大の文字サイズで「えっ、」表示Ｓ２が表示され、このあとに「哀」状態を示す青色で中の文字サイズで「それは困るな」表示Ｓ３が表示される。
【００２６】
これに応じて、自分を示す「自：」表示Ｓ４に続いて、怒った口調を示す赤色文字で「そんなこと言っても」表示Ｓ５の表示の後、赤色文字で大の文字サイズで「ダメ」表示Ｓ６、赤色文字で中の文字サイズで「だよ」表示Ｓ７が表示される。そして、このように、感情に応じて色が変わると共に、声の大きさに応じて文字のサイズが変わるので、視覚的にも相手の話す調子を理解しやすくなる。
【００２７】
一方、同図（ｂ）では、喜びの口調で語られる会話の内容を示す場合を示している。「自：」表示Ｓ８の後、「喜」状態を示す黄色の大の文字サイズで「合格しました」表示Ｓ９が表示され、これに答えて、「相：」表示Ｓ１０の後、「喜」状態を示す黄色の中の文字サイズで「良かったね」表示Ｓ１１が表示されている。
【００２８】
サーバ５は、上述のリアルタイムの処理に加えて、メール配信サービスを行うように構成されている。これは、予め携帯電話機１ａ，１ｂの使用者である話者Ａ，Ｂからメールサービスの依頼を受けている場合や、あるいは通話毎に設定可能なメール配信サービスを希望する旨の要求を受けている場合などに実施されるようになっている。
【００２９】
これは、上述したような通話音声について、音声認識してテキストデータに変換したものに、話者情報を加えて通常のメールにして送信するものである。このとき、テキストデータには音量情報、感情情報を付加してそのまま送信することもできる。メールは、例えば各話者Ａ，Ｂなどが契約しているプロバイダのメールサーバ７ａ，７ｂにインターネット６を経由して配信され、ＰＣ８ａ，８ｂからダウンロードすることで見ることができる。
【００３０】
これにより、実際に通話をしていたときの声の大きさや感情を確認しながら通話内容を読むことができ、その場の雰囲気や状況を把握しやすくなるし、あるいは、通話記録内容をメモなどしていなくても後で受信したメールによって確認することができるようになり、通信情報としても正確なものとすることができるようになる。
【００３１】
メールの配信先は、ＰＣ８ａ，８ｂなどに限らず、例えばモバイル機器であるＰＤＡや、インターネットにアクセス可能なカーナビゲーション装置などに設定することもできる。さらには、携帯電話機１ａ，１ｂそのものに、メールで配信するようにしても良い。
【００３２】
このような本実施形態によれば、通話相手との会話内容を交換機４に接続されたサーバ５により、音声認識処理およびテキストデータ変換処理を行うことで、文字情報として得ることができるので、音声が聞き取りにくい場合でも文字情報を参照して通話の内容を確実に把握できるようになる。また、通話音声の音量や感情に応じて文字の大きさや色を変化させることができるので、相手の通話時の状況をより把握しやすくなり、意思の疎通が図りやすくなる。
【００３３】
また、通話内容を後でメールで文字情報として確認することができるので、通話記録として残す場合も確実性が増し、また、メモなどを取る必要がなくなるので、会話に集中することができるようになる。
【００３４】
本発明は上記しかつ図面に示した実施形態に限定されるものではなく、次のように変形することが出来る。
感情情報は、色以外に、文字のパターンや文字の太さあるいは文字の線の種類、さらには文字の網掛けのパターンなどで表現することもできる。
【００３５】
感情情報を示す色は、文字そのものの色として示すことに加えて、文字の背景色として表示したり、マーカの色として表示することもできる。
感情情報は、話者側で設定スイッチなどを操作して話しているときの気分を示すボタンを操作してそのときの感情を直接相手側に伝えるようにすることもできる。
【００３６】
感情表現や音量表現をする付加情報については、非表示にする機能を設定する機能を持たせても良い。
自分の会話部分については非表示にすることもできる。これはスイッチにより設定するようにすれば良い。
【００３７】
テキストデータをメールで受ける媒体は、ＰＣに限らず、ＰＤＡや他の携帯電話機など適宜の媒体を指定して受けることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態を示す全体構成の概略図
【図２】携帯電話機間およびサーバとの間のやり取りを示すチャート
【図３】音量解析処理および感情解析処理の概略的なフローチャート
【図４】表示画面の例を示す図
【符号の説明】
１ａ，１ｂは携帯電話機（電話機）、２ａ，２ｂは基地局、３は電話網、４は交換局、５はサーバ（テキスト変換手段、音量情報付加手段、感情推定手段、感情情報付加手段、話者情報付加手段）、６はインターネット（ネットワーク）、７ａ，７ｂはメールサーバ、８ａ，８ｂはＰＣ、９ａ，９ｂは表示部である。

Claims

電話機を通じて対話をする話者の通話音声を入力し、これを音声認識処理してテキストデータに変換するテキスト変換手段と、
前記通話音声の音量を解析して音量に応じた文字の大きさを指定する文字サイズ情報を前記テキストデータに付加する音量情報付加手段と
を備えたことを特徴とする通話音声のテキスト変換システム。
請求項１に記載のテキスト変換システムにおいて、
前記通話音声から分析可能な話者の感情を推定する感情推定手段と、
この感情推定手段により推定された前記話者の感情に応じた色もしくはパターンを指定する感情情報を前記テキストデータに付加する感情情報付加手段と
を備えたことを特徴とする通話音声のテキスト変換システム。
請求項１または２に記載の通話音声のテキスト変換システムにおいて、
前記変換されたテキストデータを話者別に対応して表示させる話者表示情報を前記テキストデータに付加する話者情報付加手段を備えたことを特徴とする通話音声のテキスト変換システム。
請求項１ないし３のいずれかに記載の通話音声のテキスト変換システムにおいて、
前記テキストデータを要求に応じて電子メールとして送信するテキストデータ送信手段を備えたことを特徴とする通話音声のテキスト変換システム。