JP2011048076A - 通信システム、通信システムの制御方法、移動体通信端末、移動体通信端末の制御方法、及びプログラム - Google Patents

Abstract

【課題】長時間にわたって、低コストで会話を音声認識して記録する。
【解決手段】通信システムは、入力された音声信号を音響分析して特徴量を抽出し、無線ＬＡＮを介して該特徴量を音声認識サーバへ送信し、該音声認識サーバが該特徴量を解析して音声認識した結果である文字データを該音声認識サーバから該無線ＬＡＮを介して受信し、該文字データを表示する移動体通信端末と、それぞれの前記移動体通信端末から前記特徴量を受信し、該特徴量を解析して音声認識し、該音声認識の結果である文字データを該移動体通信端末へ送信する音声認識サーバと、を有する。
【選択図】図１

Description

本発明は、会話を音声認識して記録する通信システムに関する。

携帯電話機と音声認識技術とを利用して会話を記録しておく通信システムが会議において使用されることがある。この通信システムの一般的な構成を図１０に示す。

図１０において、携帯電話機は、まずネットワーク網を介して音声認識サーバに接続する。携帯電話機は、続いて、マイクより入力された音声を音声認識サーバへ送信する。

音声認識サーバは、携帯電話機から受信した音声から特徴量を抽出し、この特徴量を解析して、音声認識を行う。音声認識サーバは、その認識結果を記録するとともに、携帯電話機へ送信する。

また、特許文献１に記載された議事録作成通信システムは、ＰＨＳ（Personal Handy-phone System：登録商標）網を介して音声認識結果や音声データを送受信している。

このように、これらの通信システムは、移動体通信網を利用して、音声認識結果等を送受信していた。

特開平１０−１３４０４７号公報

しかし、図１０や特許文献１に開示された通信システムでは、ユーザがシステムを利用しにくい場合があった。

移動体通信網は、一般的に、電波環境によっては不安定である。このため、図１０や特許文献１に開示された通信システムでは、携帯電話機（移動体通信端末）が、移動体通信網から切断されることがあった。このため、ユーザは、長時間にわたって、システムを利用しにくかった。

また、移動体通信網では、送受信するパケットの量に応じて料金が課される場合、ユーザが、長時間にわたってシステムを利用すると、高額の通信料金が発生してしまう。

このように、ユーザが、長時間にわたって、低コストでシステムを利用することが困難であるという問題があった。

本発明の目的は、長時間にわたって、低コストで会話を音声認識して記録する技術を提供することを目的とする。

上記目的を達成するために、本発明の通信システムは、入力された音声信号を音響分析して特徴量を抽出し、無線ＬＡＮを介して該特徴量を音声認識サーバへ送信し、該音声認識サーバが該特徴量を解析して音声認識した結果である文字データを該音声認識サーバから該無線ＬＡＮを介して受信し、該文字データを表示する移動体通信端末と、それぞれの前記移動体通信端末から前記特徴量を受信し、該特徴量を解析して音声認識し、該音声認識の結果である文字データを該移動体通信端末へ送信する音声認識サーバと、を有する。

本発明の通信システムの制御方法は、移動体通信端末が、入力された音声信号を音響分析して特徴量を抽出し、無線ＬＡＮを介して該特徴量を音声認識サーバへ送信し、前記音声認識サーバが、前記特徴量を受信し、前記特徴量を解析して音声認識し、前記音声認識の結果である文字データを該移動体通信端末へ送信し、前記移動体通信端末が、前記音声認識サーバから前記無線ＬＡＮを介して前記文字データを受信し、前記文字データを表示する、通信システムの制御方法である。

本発明の移動体通信端末は、入力された音声信号を音響分析して特徴量を抽出する音響分析手段と、前記音響分析手段により抽出された前記特徴量を、無線ＬＡＮを介して該特徴量を音声認識サーバへ送信する送信手段と、該音声認識サーバが該特徴量を解析して音声認識した結果である文字データを該音声認識サーバから該無線ＬＡＮを介して受信する受信手段と、前記受信手段により受信された前記文字データを表示する表示手段と、を有する。

本発明の移動体通信端末の制御方法は、音響分析手段が、入力された音声信号を音響分析して特徴量を抽出し、送信手段が、前記音響分析手段により抽出された前記特徴量を、無線ＬＡＮを介して該特徴量を音声認識サーバへ送信し、受信手段が、該音声認識サーバが該特徴量を解析して音声認識した結果である文字データを該音声認識サーバから該無線ＬＡＮを介して受信し、表示手段が、前記受信手段により受信された前記文字データを表示する、移動体通信端末の制御方法である。

本発明のプログラムは、コンピュータに、入力された音声信号を音響分析して特徴量を抽出する音響分析手順、前記音響分析手順で抽出された前記特徴量を、無線ＬＡＮを介して該特徴量を音声認識サーバへ送信する送信手順、該音声認識サーバが該特徴量を解析して音声認識した結果である文字データを該音声認識サーバから該無線ＬＡＮを介して受信する受信手順、及び前記受信手順で受信された前記文字データを表示する表示手順、を実行させるためのプログラムである。

本発明によれば、移動体通信端末と音声認識サーバとが、無線ＬＡＮを介して特徴量および文字データを送受信するので、不安定で、高コストな移動体通信網を使用する必要がなく、長時間にわたって、低コストで会話を音声認識して記録することができる。

本発明の第１の実施形態の通信システムの一構成例を示すブロック図である。 本発明の第１の実施形態の移動体通信システムの一構成例を示すブロック図である。 本発明の第１の実施形態の音響分析部の一構成例を示すブロック図である。 本発明の第１の実施形態の音声認識サーバの一構成例を示すブロック図である。 本発明の第１の実施形態のデータベースに格納される情報の一例を示す表である。 本発明の第１の実施形態の移動体通信端末の動作の一例を示すフローチャートである。 本発明の第１の実施形態の音声認識サーバの動作の一例を示すフローチャートである。 本発明の第１の実施形態の通信システムの動作の一例を示すフローチャートである。 本発明の第２の実施形態の通信システムの一構成例を示すブロック図である。 一般的な、通信システムの一構成例を示すブロック図である。

（第１の実施形態）
本発明を実施するための第１の実施形態について図面を参照して詳細に説明する。図１は、本実施形態の通信システム１の一構成例を示すブロック図である。この通信システム１は、会議等における会話を音声認識して記録するための通信システムである。

通信システム１は、移動体通信端末１０などの１以上の移動体通信端末と、アクセスポイント２０と、音声認識サーバ３０とを有する。

移動体通信端末１０は、移動しながら通信機能を利用できる端末であり、例えば、携帯電話機である。移動体通信端末１０は、アクセスポイント２０を経由して音声認識サーバ３０に接続し、音声認識サーバ３０と通信する。アクセスポイント２０は、ＰＰＰ（Point to Point Protocol）などのプロトコルに従って、移動体通信端末１０と音声認識サーバ３０との間の通信を中継する。

なお、本実施形態では、アクセスポイント２０を経由して移動体通信端末１０と音声認識サーバ３０とが通信する構成としているが、移動体通信端末１０、音声認識サーバ３０がアドホックモードで直接通信する構成としてもよいのは勿論である。

移動体通信端末１０の構成について詳細に説明する。図２は、移動体通信端末１０の一構成例を示すブロック図である。同図を参照すると、移動体通信端末１０は、音声分析部１０１、ＷＬＡＮ通信部１０２、および表示部１０３を有する。

音声分析部１０１は、音声の入力を受け付け、入力された音声を音響分析して、その音声の特性に応じて変動する特徴量を求める。

ＷＬＡＮ通信部１０２は、無線ＬＡＮを経由して音声認識サーバ３０との間で通信を行う。ＷＬＡＮ通信部１０２は、無線ＬＡＮ（Ｎ１）を経由して、移動体通信端末を識別するための識別情報と音声分析部１０１が求めた特徴量とを音声認識サーバ３０へ送信する。また、ＷＬＡＮ通信部１０２は、無線ＬＡＮ等を経由して、音声認識サーバ３０から、音声認識の結果であるテキストデータを受信する。更に、ＷＬＡＮ通信部１０２は、インターネット（Ｎ２）を介して、他の通信装置と通信することができる。

また、ＷＬＡＮ通信部１０２は、検索キーを指定して、ユーザ所望の文字データを要求するリクエストを音声認識サーバ３０へ送信する。検索キーとしては、移動体通信端末ごとに割り当てられた識別番号や、テキストデータの作成日時などが指定される。ＷＬＡＮ通信部１０２は、音声認識サーバ３０から、要求したテキストデータを受信する。

表示部１０３は、音声認識サーバ３０から受信したテキストデータの示す内容を表示する。

図３は、音響分析部１０１の一構成例を示すブロック図である。同図を参照すると、音響分析部１０１は、マイク１０１１、Ａ／Ｄ（Analog/Digital）変換器１０１２、およびスぺクトラムアナライザ１０１３を有する。

マイク１０１１は、音声の入力を受け付け、音声が入力されたとき、入力された音声に応じてアナログの音声信号をＡ／Ｄ変換器１０１２へ送信する。

Ａ／Ｄ変換器１０１２は、アナログの音声信号をデジタル信号に変換する。スぺクトラムアナライザ１０１３は、デジタルの音声信号を周波数分析し、特徴量を求める。

音声認識サーバ３０の構成について詳細に説明する。図３は、音声認識サーバ３０の一構成例を示すブロック図である。同図を参照すると、音声認識サーバ３０は、通信部３０１、制御部３０２、およびデータベース３０３を有する。

通信部３０１は、移動体通信端末１０から、アクセスポイント２０を経由して特徴量を受信する。制御部３０２は、音声認識エンジンを有し、この音声認識エンジンを使用して特徴量を解析し、特徴量をテキストデータに変換する。例えば、制御部３０２は、音声認識において、音響モデルを使用して、各音素の周波数特性を解析し、言語モデルを使用して音素の並びを解析し、テキストデータを作成する。

また、通信部３０１は、移動体通信端末１０から、テキストデータの送信についてのリクエストを受信する。制御部３０２は、リクエストにおいて指定された検索キーを使用して、テキストデータを検索する。

通信部３０１は、作成、または検索されたテキストデータを、移動体通信端末１０へ送信する。

そして、制御部３０２は、テキストデータを識別情報と対応付けて、データベース３０３に格納する。データベース３０３は、移動体通信端末ごとに、テキストデータを蓄積して記憶する。

図５は、データベースに格納される情報をまとめた表である。同図に示すように、データベースには、複数の「端末識別番号」が登録され、「端末識別番号」ごとに、「音声認識結果」、「作成日時」、「データ量」などの項目が設けられる。

「端末識別番号」は、移動体通信端末を識別するための番号である。「音声認識結果」は、制御部３０２により作成されたテキストデータである。「作成日時」は、「音声認識結果」が作成された日時である。「データ量」は、「音声認識結果」のデータ量である。

例えば、端末識別番号０００１の移動体通信端末が送信した特徴量に基づいて音声認識サーバ３０が音声認識し、２００１年１月１日の８時にテキストデータ０１Ａを作成した場合、音声認識サーバ３０は、端末識別番号「０００１」に対応する音声認識結果欄に「テキストデータ０１Ａ」を登録し、作成日時欄に「２００１．１．１ ８：００」を登録する。

次に、図６〜図８を参照して通信システム１の動作について説明する。図６は、通信システム１が、会議中にリアルタイムで音声認識する場合の移動体通信端末１０の動作を示すフローチャートである。この動作は、音声認識用のアプリケーションが実行されたときに開始する。

移動体通信端末１０は、自身がＷＬＡＮのアクセスポイント（２０）に接続しているか否かを判断する（ステップＳ１）。アクセスポイントに接続していなければ（ステップＳ１：ＮＯ）、移動体通信端末１０は、ステップＳ１に戻る。

アクセスポイントに接続しているならば（ステップＳ１：ＹＥＳ）、移動体通信端末１０は、自身が音声認識サーバ３０に接続しているか否かを判断する（ステップＳ２）。音声認識サーバ３０に接続していなければ（ステップＳ２：ＮＯ）、移動体通信端末１０は、ステップＳ２に戻る。

音声認識サーバ３０に接続していれば（ステップＳ２：ＹＥＳ）、移動体通信端末１０は、音声入力の受け付けを開始する（ステップＳ３）。

音声信号が入力されたとき、移動体通信端末１０は、その音声信号を音響分析して特徴量を抽出する（ステップＳ４）。そして、移動体通信端末１０は、抽出した特徴量を音声認識サーバ３０へ送信する（ステップＳ５）。

続いて、移動体通信端末１０は、音声認識サーバ３０から、特徴量の解析結果であるテキストデータを受信したか否かを判断する（ステップＳ６）。

テキストデータを受信したのであれば（ステップＳ６：ＹＥＳ）、移動体通信端末１０は、解析結果（テキストデータ）の内容を表示する（ステップＳ７）。

テキストデータを受信していない場合（ステップＳ６：ＮＯ）、またはステップＳ７の後、移動体通信端末１０は、音声入力用のアプリケーションの終了などにより、音声入力の受け付けが終了したか否かを判断する（ステップＳ８）。

音声入力の受け付けが終了していなければ（ステップＳ８：ＮＯ）、移動体通信端末１０は、ステップＳ４に戻る。音声入力の受け付けが終了したのであれば（ステップＳ８：ＹＥＳ）、移動体通信端末１０は、動作を終了する。

図７は、通信システム１が会議中にリアルタイムで音声認識する場合の音声認識サーバ３０の動作を示すフローチャートである。この動作は、音声認識サーバ３０に、移動体通信端末（１０等）が接続されたときに開始する。

音声認識サーバ３０は、移動体通信端末（１０等）から、特徴量を受信したか否かを判断する（ステップＴ１）。

特徴量を受信したのであれば（ステップＴ１：ＹＥＳ）、音声認識サーバ３０は、受信した特徴量を解析してテキストデータを作成する（ステップＴ２）。

そして、音声認識サーバ３０は、解析結果（テキストデータ）を、特徴量の送信元の移動体通信端末へ送信する（ステップＴ３）。

音声認識サーバ３０は、解析結果（テキストデータ）をデータベース３０３に保存する（ステップＴ４）。ステップＴ４の後、音声認識サーバ３０は、ステップＴ１に戻る。

特徴量を受信しない期間が一定時間以上となったとき（ステップＴ１：ＮＯ）、音声認識サーバ３０は、動作を終了する。

図８は、会議終了後に、移動体通信端末１０が、ユーザ所望のテキストデータを音声認識サーバ１０から取得する場合の動作を示すシーケンス図である。

移動体通信端末１０は、端末識別番号や作成日時を検索キーとして、テキストデータの送信を求めるリクエストを音声認識サーバ３０へ送信する（ステップＳ１１）。

音声認識サーバ３０は、リクエストにかかる検索キーで、保存しているデータの中から、ユーザ所望のテキストデータを検索する（ステップＴ１１）。音声認識サーバ３０は、検索したテキストデータを移動体通信端末１０へ送信する（ステップＴ１２）。

移動体通信端末１０は、テキストデータを受信し（ステップＳ１２）、そのデータを表示する（ステップＳ１３）。

なお、本実施形態では、音声認識サーバは、作成日時や端末識別番号を示す情報を付加してテキストデータを保存する構成としているが、音声データのフォーマットや会議の分類など、それ以外の情報をテキストデータに付加して保存してもよいのは勿論である。また、検索キーは、作成日時や端末識別番号に限らない。移動体通信端末は、データ容量や、会議の分類などを検索キーとすることもできる。

以上説明したように、本実施形態によれば、移動体通信端末と音声認識サーバとが、無線ＬＡＮを介して特徴量および文字データを送受信するので、不安定で、高コストな移動体通信網を使用する必要がなく、長時間にわたって、低コストで会話を音声認識して記録することができる。

データベースに、端末識別番号や作成日時を示す情報を付加してテキストデータをまとめて保存しておくことにより、会議終了後にユーザは、いつでも所望のデータを閲覧でき、利便性が向上する。

また、音声認識処理のうち、音声から特徴量を抽出する処理を移動体通信端末が行うので、サーバの処理が軽減される。

（第２の実施形態）
本発明の第２の実施形態について説明する。図９は本実施形態の通信システム１ａの一構成例を示すフローチャートである。本実施形態の通信システム１ａは、データベース機能を音声認識サーバから分離している点で第１の実施形態と異なる。なお、本実施形態の通信システムについて、図１で説明した構成と同様な構成の詳細な説明を省略し、第１の実施形態と異なる点について詳しく説明する。

本実施形態の通信システム１ａは、音声認識サーバ３０の代わりに音声認識サーバ３０ａを有し、データベース３１を更に備える点で第１の実施形態の通信システムと異なる。なお、同図においてアクセスポイント２０は省略している。

音声認識サーバ３０ａは、データベース３０３を有しない点以外は、第１の音声認識サーバ３０ａと同様である。データベース３１は、データベース３０３と同様の構成である。

以上説明したように、本実施形態では、データベース機能と、音声認識、通信機能とを分離するので、保守、管理が容易となり、故障時のリスクを分散できる。

１ 通信システム
１０ 移動体通信端末
２０ アクセスポイント
３０、３０ａ 音声認識サーバ
１０１ 音響解析部
１０２ ＷＬＡＮ通信部
１０３ 表示部
３０１ 通信部
３０２ 解析エンジン
３０３、３１ データベース
１０１１ マイク
１０１２ Ａ／Ｄ変換器
１０１３ スぺクトラムアナライザ
Ｎ１ 無線ＬＡＮ
Ｎ２ インターネット

Claims (10)

1. 入力された音声信号を音響分析して特徴量を抽出し、無線ＬＡＮを介して該特徴量を音声認識サーバへ送信し、該音声認識サーバにより変換された文字データを該音声認識サーバから該無線ＬＡＮを介して受信し、該文字データを表示する移動体通信端末と、
   それぞれの前記移動体通信端末から前記特徴量を受信し、該特徴量を解析して文字データに変換し、該文字データを該移動体通信端末へ送信する音声認識サーバと、
   を有する通信システム。
2. 前記音声認識サーバは、前記文字データを前記移動体通信端末へ送信するとともに、該文字データと、該文字データの作成日時とを対応付けて複数記憶しておき、
   前記移動体通信端末は、作成日時を指定して前記文字データを要求し、
   前記音声認識サーバは、前記移動体端末の要求に応じて、記憶しておいた文字データのうち、該移動体通信端末により指定された前記作成日時に対応する前記文字データを該移動体通信端末へ送信する、請求項１に記載の通信システム。
3. 前記通信システムは、複数の前記移動体通信端末を有し、
   前記音声認識サーバは、前記文字データを移動体通信端末へ送信するとともに、該文字データと、該文字データの送信先の移動体通信端末を識別するための識別情報とを対応付けて記憶しておき、
   前記移動体通信端末は、識別情報を指定して前記文字データを要求し、
   前記音声認識サーバは、前記移動体端末の要求に応じて、記憶しておいた文字データのうち、該移動体通信端末により指定された前記識別情報に対応する前記文字データを該移動体通信端末へ送信する、請求項１又は２に記載の通信システム。
4. 前記通信システムは、
   文字データと、該文字データの作成日時とを対応付けて記憶するデータ保存サーバを更に有し、
   前記音声認識サーバは、前記文字データを移動体通信端末へ送信するとともに、該文字データと、該文字データの作成日時とを対応付けて前記データ保存サーバに複数格納し、
   前記移動体通信端末は、作成日時を指定して前記文字データを要求し、
   前記音声認識サーバは、前記移動体端末の要求に応じて、該移動体通信端末により指定された前記作成日時に対応する前記文字データを前記データ保存サーバから読み出し、読み出した該文字データを該移動体通信端末へ送信する、請求項１に記載の通信システム。
5. 前記通信システムは、複数の前記移動体通信端末を有し、
   前記データ保存サーバは、前記文字データに前記移動体通信端末を識別するための識別情報を更に対応付けて記憶し、
   前記音声認識サーバは、前記文字データを移動体通信端末へ送信するとともに、該文字データと、該文字データの送信先の移動体通信端末を識別するための識別情報とを対応付けて前記データ保存サーバに格納し、
   前記移動体通信端末は、識別情報を指定して前記文字データを要求し、
   前記音声認識サーバは、前記移動体端末の要求に応じて、該移動体通信端末により指定された前記識別情報に対応する前記文字データを前記データ保存サーバから読み出し、読み出した該文字データを該移動体通信端末へ送信する、請求項４に記載の通信システム。
6. 前記移動体通信端末が前記無線ＬＡＮを介して、前記音声認識サーバに接続するためのアクセスポイントを更に有し、
   前記移動体通信端末は、前記無線ＬＡＮを介して前記アクセスポイントに接続し、該アクセスポイントを介して、前記音声認識サーバに接続する、請求項１乃至５のいずれか１項に記載の通信システム。
7. 移動体通信端末が、入力された音声信号を音響分析して特徴量を抽出し、無線ＬＡＮを介して該特徴量を音声認識サーバへ送信し、
   前記音声認識サーバが、前記特徴量を受信し、
   前記特徴量を解析して文字データに変換し、
   前記文字データを該移動体通信端末へ送信し、
   前記移動体通信端末が、前記音声認識サーバから前記無線ＬＡＮを介して前記文字データを受信し、
   前記文字データを表示する、通信システムの制御方法。
8. 入力された音声信号を音響分析して特徴量を抽出する音響分析手段と、
   前記音響分析手段により抽出された前記特徴量を、無線ＬＡＮを介して該特徴量を音声認識サーバへ送信する送信手段と、
   該音声認識サーバが該特徴量を解析して音声認識した結果である文字データを該音声認識サーバから該無線ＬＡＮを介して受信する受信手段と、
   前記受信手段により受信された前記文字データを表示する表示手段と、
   を有する移動体通信端末。
9. 音響分析手段が、入力された音声信号を音響分析して特徴量を抽出し、
   送信手段が、前記音響分析手段により抽出された前記特徴量を、無線ＬＡＮを介して該特徴量を音声認識サーバへ送信し、
   受信手段が、該音声認識サーバが該特徴量を解析して音声認識した結果である文字データを該音声認識サーバから該無線ＬＡＮを介して受信し、
   表示手段が、前記受信手段により受信された前記文字データを表示する、移動体通信端末の制御方法。
10. コンピュータに、
    入力された音声信号を音響分析して特徴量を抽出する音響分析手順、
    前記音響分析手順で抽出された前記特徴量を、無線ＬＡＮを介して該特徴量を音声認識サーバへ送信する送信手順、
    該音声認識サーバが該特徴量を解析して音声認識した結果である文字データを該音声認識サーバから該無線ＬＡＮを介して受信する受信手順、及び
    前記受信手順で受信された前記文字データを表示する表示手順、
    を実行させるためのプログラム。