JP2008099121A - 携帯電話機及びプログラム - Google Patents

Abstract

【課題】音声コンテンツの視聴を中断することなく、リアルタイムに着信を受け、音声認識により得られたテキストにより、相手の発話内容を知ることのできる携帯電話機の提供。
【解決手段】携帯電話機は、音声コンテンツの出力機能と、入力音声を音声認識しテキスト化する音声認識機能を備え、更に、音声コンテンツの出力中に電話着信した場合、前記音声コンテンツの出力を中断せずに、通話相手の発話内容を音声認識してテキスト表示するテキスト通話モードを有する。
【選択図】図１

Description

本発明は、携帯電話機及びプログラムに関し、特に、音声コンテンツの出力機能を有する携帯電話機及びプログラムに関する。

オーディオ再生機能やラジオ／テレビジョン放送受信機能を備えた携帯電話機が実用化されている。この種の電話において、スピーカやヘッドフォンで各種音声コンテンツを出力している際に、着信があった場合に通話音声を優先し切り替え出力させる構成が知られている。この種の携帯電話機においては、図８、図９に示すように、着信があった場合、アンテナ１０、無線制御部１２、通話制御部１４から入力される通話音声を優先するようスイッチ（ＳＷ）１６を動作させ、以後、通話が終了するまで、通話音声の出力を継続させる構成が採られている。

例えば、特許文献１に、上記図９のスイッチ（ＳＷ）１６に相当する入力切替えスイッチを有するラジオ放送受信機能付携帯電話が開示されている。

また、特許文献２には、音楽オーディオ信号と、送話器及び受話器の各出力を混合し、ヘッドホン出力することのできる音楽プレーヤ兼用携帯電話機が開示されている。

更に、特許文献３には、音声認識機能を備え、音声認識処理により留守番電話メッセージを変換し、相手の残したメッセージをテキストで確認することのできる動作モード（文字表示モード）を有する携帯電話機が開示されている。
特開平８−３３１００３号公報 特開２００３−４６６０３号公報 特開２００３−２１８９９９号公報

上記した図８、図９及び特許文献１に示した従来の携帯電話機では、音声コンテンツ（マルチメディアコンテンツ等の各種音声出力を伴うコンテンツも含む）の出力中に着信があった場合に、通話を優先するようスイッチが作動するため音声コンテンツの聴取や視聴が妨げられてしまうという問題点がある。

また、特許文献２に記載の携帯電話機にしても、通話音声とオーディオ音声を合成するというものであるため、通話音声が聞き取りにくくなる。特に、電波状態が悪いときや再生中のオーディオ音声が喧しい楽曲や会話調の楽曲である等、通話音声との合成にふさわしくないものである場合は、一層聞き取りにくくなるという問題点がある。

また、特許文献３に記載の携帯電話機のテキスト表示モードは、あくまで会議等で電話に出られない（通話ができない）ときに用いられる留守番電話機能の一種であり、受け付けた音声情報は、音声情報管理部により一旦メモリに蓄積された後、音声認識処理やテキスト変換処理の対象となる。従って、メッセージを登録した者は、メッセージを登録したことを確認できるのみであり、リアルタイムに相手に伝わったことを確認できない（当然に、携帯電話機ユーザは当該メッセージに対し時宜を得た応答をすることもできない。）という問題点がある。また同動作モードでは、通常通り音声同士で通話可能なとき（例えば、オーディオを再生していないとき）でも、上記留守番電話機能とテキスト表示機能が働き、相手の声を蓄積し、文字表示してしまうという問題点もある。

本発明の第１の視点によれば、音声コンテンツの出力機能を備えた携帯電話機であって、入力音声を音声認識しテキスト化する音声認識手段を備え、前記音声コンテンツの出力中に電話着信した場合、前記音声コンテンツの出力を中断せずに、通話相手の発話内容を音声認識してテキスト表示するテキスト通話モードを有すること、を特徴とする携帯電話機が提供される。

本発明によれば、音声コンテンツの出力を中断することなく、リアルタイムに着信を受け、音声認識により得られたテキストにより、相手の発話内容を知ることが可能となる。

［第１の実施形態］
続いて、本発明を実施するための最良の形態について図面を参照して詳細に説明する。図１は、本発明の第１の実施形態に係る携帯電話機の構成を機能ブロックで表した図である。なお、図１においては、本発明の理解を容易にするため、本発明によって提供される携帯電話機の機能に関係の少ない要素は省略されている。

図１を参照すると、本実施形態に係る携帯電話機は、電波を送受信するアンテナ１０と、無線データの送受信のための各種無線制御を行う無線制御部１２と、音声データのアナログ／デジタル変換や送受信データの生成・分解等の各種信号処理を行うほか後記するテキスト通話モードを実現するためのプログラムによって動作するプロセッサにより構成された通話制御部１４ａ、１４ｂと、スピーカ、ヘッドフォン等の音声出力部１８と、マイク等の音声入力部２０と、楽曲コンテンツ（オーディオデータ）を格納するためのメモリ２２と、楽曲コンテンツ（オーディオデータ）を再生する音楽再生部２４と、液晶ディスプレイ装置等及びそのドライバにより構成される文字情報表示部２６と、音声認識部３２とを備えて構成されている。

通話制御部（受信）１４ａの下流側には、スイッチ（ＳＷ）３４が配設され、着信した相手側からの音声の出力先を音声出力部１８（一般通話モード時）から音声認識部３２（テキスト通話モード時）に切り替えることが可能となっている。

メモリ２２は、携帯電話機の内蔵メモリ又はメモリカード等の着脱自在なメモリ（記録媒体）であり、ユーザが任意の曲を選択し再生要求を行うと、図１の矢線（太実線）に従って、音楽再生部２４によって楽曲が再生され、音声出力部１８より出力される。

音声認識部３２は、図示省略する音声認識用辞書を用いて、入力された音声を認識し、テキスト化する。

上記構成よりなる本実施形態に係る携帯電話機は、例えば、メニュー画面から動作モードとして「テキスト通話モード」を選択、あるいは、オーディオ再生機能の詳細設定時に「オーディオ再生中はテキスト通話モードにする」といった項目を選択することによって、テキスト通話モードに遷移する。

図２は、上記テキスト通話モードにおける携帯電話機の一連の動作を表したフローチャートである。まず、ユーザによりテキスト通話モードが設定された状態で（ステップＳ００１）、無線制御部１２で着信が検知されると、通話制御部１４ａは、バイブレータの作動等の所定の着信報知動作を行う。

ここで、所定時間内に、テキスト表示の開始条件として定めたオフフック操作等の応答操作がなされると（ステップＳ００２のＹＥＳ）、通話制御部１４ａは、オーディオ再生中であることを確認した上で、スイッチ（ＳＷ）３４を切り替え（図１の太破線→太実線）、アンテナ１０、無線制御部１２を介して入力された音声データを音声認識部３２に入力する（ステップＳ００３）。

音声認識部３２は、入力された音声データについて音声認識を行なった結果を文字情報表示部２６に出力する（ステップＳ００４）。また、音声入力部２０からユーザの音声が入力された場合、当該入力音声データは、通話制御部１４ｂ、無線制御部１２、アンテナ１０を介して、通話相手側に送信される（図１の太実線参照）。

以上の動作は、双方のオンフック操作等により、通話が終了するまで継続される（ステップＳ００５）。

なお、ステップＳ００２で、所定時間内に応答操作が行われなかった場合は（ステップＳ００２のＮＯ）、相手側の切断待ち（無応答）、留守番メッセージ受付等のユーザが設定した動作が実行される。

図３は、例えば、オーディオ再生中に、電話番号０９０−ｘｘｘｘ−ｙｙｙｙを持つ携帯電話機からの着信があった場合における文字情報表示部２６の表示内容の一例を表した図である。

図３を参照すると、相手方の電話番号の下に、当該相手方の発話内容を音声認識した結果「重要な話があるので至急連絡を下さい」が表示されている。

携帯電話機のユーザは、オーディオ再生中であっても、上記表示を見て、相手方を確認し、その発話内容をリアルタイムに認識することができる。また、本実施形態の構成によれば、音声入力部２０で拾ったユーザの発話内容は、通話制御部１４ｂ、無線制御部１２、アンテナ１０を経由して、送信されるようになっているため、当該通話相手も、相手方の電話に出たことを確認し、また、自己の発話内容に対する応答をリアルタイムに得ることが可能となっている。

以上、テキスト通話モードで楽曲コンテンツの再生中に着信があった場合の例を挙げて説明したが、携帯電話機がラジオ放送やテレビジョン放送の受信機能（ラジオ放送受信部・テレビ放送受信部）を備えている場合においても、これら音声コンテンツの出力中に上記本発明の第１の実施形態と同様に動作させることができる。

例えば、ラジオ受信機能を備える携帯電話機がテキスト通話モードに設定された状態において、図４に示すように、アンテナ（ラジオ）２８、無線制御部（ラジオ放送受信部）３０を介してラジオ放送を聴いている際に、着信を受け、ユーザからオフフック操作等の所定の応答操作が行われると（図２のステップＳ００２のＹＥＳ）、通話制御部１４ａは、ラジオ放送受信中（ラジオ機能ＯＮ）であることを確認した上で、スイッチ（ＳＷ）３４を切り替え（図４の太破線→太実線）、アンテナ１０、無線制御部１２を介して入力された音声データを音声認識部３２に入力する（図２のステップＳ００３）。

また、本発明は、上記ラジオ放送受信機能と、楽曲コンテンツ（オーディオデータ）再生機能を併有する携帯電話機にも適用可能であり、この場合は、テキスト通話モードに設定された状態において、ラジオ放送の受信中又はオーディオ再生中に、着信があった場合に、相手方の発話内容をテキストで確認することが可能となる。

［第２の実施形態］
続いて、上記第１の実施形態に更に、（１）自機ユーザ側の発話内容もテキスト化する機能と、（２）通話記録の作成機能を追加した本発明の第２の実施形態について説明する。以下、上記第１の実施形態で既に説明した事項は適宜省略し、その相違点を中心に説明する。

図５、図６は、本発明の第２の実施形態に係る携帯電話機の構成を機能ブロックで表した図である。図５、図６を参照すると、本実施形態に係る携帯電話機の構成は、通話記録記憶部３６を備える点と、通話制御部（送信）１４ｂの出力先に音声認識部３２を追加した点で、上記第１の実施形態の構成（図１、図４参照）と異なっている。

本実施形態における音声認識部３２は、図示省略する音声認識用辞書を用いて、通話制御部（受信）１４ａ及び通話制御部（送信）１４ｂの双方から入力された音声を認識し、テキスト化する。

また、音声認識部３２は、上記音声認識した結果を通話記録記憶部３６に出力する。

図７は、例えば、オーディオ再生又はラジオ放送の受信中に、電話番号「０９０−ｘｘｘｘ−ｙｙｙｙ」を持つ携帯電話機からの着信があった場合における文字情報表示部２６の表示内容の一例を表した図である。

図７を参照すると、相手方の電話番号の横に、電話帳データとのマッチングにより得られた「田中」との表示が付加され、更に、その下に、当該相手方の発話内容を音声認識した結果「重要な話があるので至急連絡を下さい」が表示されている。

更に、その下段には、自機の電話番号と、その横に、自機である旨の表示が行われ、更に、その下に、自機ユーザの発話内容を音声認識した結果「これから会議なので午後電話します」が表示されている。

更に、その下段には、上記自機ユーザの発話内容を受けた相手方の表示と、発話内容の音声認識結果「了解です」が表示されている。

以上の内容は、通話記録記憶部３６に出力され、携帯電話のメニュー画面から、「（テキスト通話モード中の）通話記録閲覧」を選択することによって、例えば、着信順に時系列に表示されたリスト画面から所望の通話履歴を選択し、閲覧することが可能である。

以上のとおり、本実施形態によれば、上記した第１の実施形態の効果に加えて、自分が発話した内容もテキスト表示されるため、（１）ユーザとしても会話の進行具合を把握しやすいという効果と、（２）その会話内容の履歴を得ることができるという効果が達成される。

以上、本発明を実施するための好適な形態を説明したが、各種音声コンテンツ（マルチメディアコンテンツ等の各種音声出力を伴うコンテンツも含む）の出力中に電話着信した場合、これらの出力を中断せずに、通話相手の発話内容を音声認識してテキスト表示するテキスト通話モードを用意するという本発明の要旨を逸脱しない範囲で、各種の変形を加えることが可能であることはいうまでもない。

例えば、上記した各実施形態では、ユーザ（自機）の発話内容を相手方に送信するものとして説明したが、ユーザ（自機）の発話内容の送信は行わず、相手方の発話内容を一方的に受信しテキスト表示するのみでもよい。この場合でも、オーディオ、ラジオ番組、あるいは、各種音声出力を伴うコンテンツの出力を中断せずに、相手方からのメッセージをリアルタイムに受け取ることが可能になるという点で、十分な効果がある。

また例えば、上記した各実施形態では、ユーザの手動によるオフフック操作が行われない限り、テキスト表示が開始されないものとして説明したが、例えば、予めユーザにより設定された時間の経過後、あるいは、前記設定時間の経過を待つことなく（強制的に）、携帯電話機が自動的にオフフック動作（応答動作）するものとしてもよい。

また例えば、上記した各実施形態では、図３、図７の例を示して相手方の発話内容をそのままテキスト表示するものとして説明したが、例えば、相手方の発話内容に含まれる単語のうち、予め指定された単語（例えば、図７の発話内容でいえば、「重要」、「至急」、「連絡」、「会議中」、「了解」等）のみを抽出して表示するようにしても良い。

また、上記した各実施形態では、終話するまでテキスト通話モードが継続されるものとして説明したが、例えば音声コンテンツの出力が終了し、あるいは、ユーザより音声コンテンツの出力中止操作が行われた場合には、通常の音声同士の通話モード（一般通話モード）に移行するものとしてもよい。このようにすれば、まずテキスト表示で用件を見てから、重要な用件である場合にのみ、通常の音声通話に切り替えることもできる。

本発明の第１の実施形態に係る携帯電話機の構成を機能ブロックで表した図である。 本発明の第１の実施形態に係る携帯電話機のテキスト通話モードにおける動作を表したフローチャートである。 本発明の第１の実施形態に係る携帯電話機の文字情報表示部に表示される音声認識結果の一例である。 本発明の第１の実施形態から派生する別の実施形態に係る携帯電話機の構成を表した図である。 本発明の第２の実施形態に係る携帯電話機の構成を機能ブロックで表した図である。 本発明の第２の実施形態から派生する別の実施形態に係る携帯電話機の構成を表した図である。 本発明の第２の実施形態に係る携帯電話機の文字情報表示部に表示される音声認識結果の一例である。 従来の楽曲再生機能付き携帯電話機の構成を機能ブロックで表した図である。 従来のラジオ放送受信機能付き携帯電話機の構成を機能ブロックで表した図である。

符号の説明

１０ アンテナ
１２ 無線制御部
１４、１４ａ、１４ｂ 通話制御部
１６、３４ スイッチ（ＳＷ）
１８ 音声出力部
２０ 音声入力部
２２ メモリ
２４ 音楽再生部
２６ 文字情報表示部
２８ アンテナ（ラジオ）
３０ 無線制御部（ラジオ）
３２ 音声認識部
３６ 通話記録記憶部

Claims (8)

1. 音声コンテンツの出力機能を備えた携帯電話機であって、
   入力音声を音声認識しテキスト化する音声認識手段を備え、
   前記音声コンテンツの出力中に電話着信した場合、前記音声コンテンツの出力を中断せずに、通話相手の発話内容を音声認識してテキスト表示するテキスト通話モードを有すること、
   を特徴とする携帯電話機。
2. 前記テキスト通話モードにおいて、音声入力部より入力された発話内容を通話相手に送信すること、
   を特徴とする請求項１に記載の携帯電話機。
3. 前記音声コンテンツは、メモリに記憶された楽曲コンテンツであること、
   を特徴とする請求項１又は２に記載の携帯電話機。
4. 前記音声コンテンツは、ラジオ放送又はテレビ放送受信部を介して受信した放送コンテンツであること、
   を特徴とする請求項１乃至３いずれか一に記載の携帯電話機。
5. 前記テキスト通話モードにおいて、前記音声認識手段が、音声入力部より入力された発話内容も音声認識し、テキスト表示すること、
   を特徴とする請求項１乃至４いずれか一に記載の携帯電話機。
6. 更に、前記各音声認識結果を記録する通話記録作成手段を備えたこと、
   を特徴とする請求項１乃至５いずれか一に記載の携帯電話機。
7. 通話中に、音声コンテンツの出力が終了した場合、以後、通話相手の発話内容を音声により出力すること、
   を特徴とする請求項１乃至６いずれか一に記載の携帯電話機。
8. 音声コンテンツの出力機能と、入力音声を音声認識しテキスト化する音声認識機能と、を備えた携帯電話機に実行させるプログラムであって、
   通話相手の発話内容を音声認識してテキスト表示するテキスト通話モードへの設定変更を受け付ける処理と、
   前記テキスト通話モードに設定された状態で、音声コンテンツの出力中に電話着信した場合、前記音声コンテンツの出力を中断せずに、所定の条件で応答動作を行い、通話相手の発話内容を音声認識してテキスト表示する処理と、
   を前記携帯電話機に実行させるプログラム。

Images